Esta semana foi tumultuada para a OpenAI, cheia de saídas de executivos e grandes desenvolvimentos de captação de recursos. Contudo, a empresa está de volta, tentando convencer desenvolvedores a criar ferramentas com seus modelos de IA no DevDay 2024. A empresa anunciou diversas novas ferramentas, incluindo uma versão beta pública de sua “Realtime API”, para construir aplicativos com respostas de voz geradas por IA em baixa latência.

Principais Novidades do DevDay

No briefing com jornalistas antes do evento, o diretor de produto da OpenAI, Kevin Weil, afirmou que as recentes saídas da diretora de tecnologia Mira Murati e do diretor de pesquisa Bob McGrew não afetarão o progresso da empresa.

“Começo dizendo que Bob e Mira foram líderes incríveis. Aprendi muito com eles, e eles são uma parte fundamental de chegarmos até aqui”, disse Weil. “E também, não vamos desacelerar.”

Realtime API

A nova ferramenta, chamada Realtime API, permitirá que desenvolvedores criem experiências de fala para fala quase em tempo real em seus aplicativos, com a escolha de usar seis vozes fornecidas pela OpenAI. Essas vozes são distintas daquelas oferecidas para o ChatGPT e os desenvolvedores não podem usar vozes de terceiros para evitar problemas de direitos autorais.

Exemplo de Uso

Durante o briefing, Romain Huet, chefe de experiência do desenvolvedor da OpenAI, demonstrou um aplicativo de planejamento de viagens construído com a Realtime API. O aplicativo permitiu que os usuários falassem verbalmente com um assistente de IA sobre uma viagem programada para Londres, recebendo respostas em baixa latência.

Integração com Chamadas

Huet também mostrou como a Realtime API poderia realizar chamadas telefônicas para consultar sobre pedidos de alimentos para um evento. No entanto, a API não pode ligar diretamente para restaurantes ou lojas; em vez disso, pode integrar-se com APIs de chamadas como a Twilio. É importante ressaltar que a OpenAI não está adicionando divulgações para que seus modelos de IA se identifiquem automaticamente em chamadas desse tipo.

Novas Funcionalidades e Melhorias

• Vision Fine-Tuning: Permite o uso de imagens junto com texto para aprimorar aplicações do modelo GPT-4o.
• Prompt Caching: Uma funcionalidade que permite o armazenamento em cache de contextos frequentemente usados entre chamadas de API, economizando custos e melhorando a latência.
• Model Distillation: Permite que desenvolvedores utilizem modelos maiores para aprimorar modelos menores, oferecendo melhorias de desempenho.

Expectativas Não Correspondidas

O DevDay pode gerar mais repercussão pelo que não foi anunciado, como a ausência de novidades sobre o GPT Store, que foi mencionado no DevDay do ano passado. Além disso, a OpenAI informou que não lançará novos modelos de IA durante o DevDay deste ano.