Engenheiros de software, desenvolvedores e pesquisadores acadêmicos estão seriamente preocupados com as transcrições do Whisper da OpenAI, de acordo com um relatório da Associated Press.

Embora não haja falta de discussão em torno da tendência da IA generativa a alucinar — basicamente, a inventar coisas — é um pouco surpreendente que isso seja um problema em transcrição, onde se esperaria que a transcrição seguisse de perto o áudio sendo transcritos.

Em vez disso, pesquisadores contaram à AP que o Whisper introduziu desde comentários raciais até tratamentos médicos imaginados nas transcrições. E isso pode ser particularmente desastroso à medida que o Whisper é adotado em hospitais e outros contextos médicos.

Um pesquisador da Universidade de Michigan que estudava reuniões públicas encontrou alucinações em oito de cada 10 transcrições de áudio. Um engenheiro de aprendizado de máquina estudou mais de 100 horas de transcrições do Whisper e encontrou alucinações em mais da metade delas. E um desenvolvedor relatou ter encontrado alucinações em quase todas as 26.000 transcrições que criou com o Whisper.

Um porta-voz da OpenAI disse que a empresa está “trabalhando continuamente para melhorar a precisão de nossos modelos, incluindo a redução de alucinações” e observou que suas políticas de uso proíbem o uso do Whisper “em certos contextos de tomada de decisões de alto risco.”

“Agradecemos aos pesquisadores por compartilhar suas descobertas,” disseram.

Quais são as principais causas das alucinações nas transcrições do Whisper?

As alucinações nas transcrições do Whisper, um modelo de transcrição de áudio desenvolvido pela OpenAI, podem ser atribuídas a várias causas principais. A compreensão dessas causas é essencial para melhorar a precisão das transcrições geradas por IA e garantir que seu uso em contextos críticos, como médicos, seja seguro e eficaz.

Limitações dos Modelos de IA Generativa

Modelos de IA generativa, incluindo o Whisper, podem sofrer de um fenômeno conhecido como alucinação, onde o modelo inventa ou gera conteúdo que não está presente no input original. Isso ocorre porque esses modelos são treinados para gerar texto ou transcrições baseados em padrões e contextos aprendidos a partir de grandes conjuntos de dados, mas não necessariamente seguem o input com precisão absoluta.

Viés e Superotimização

Os modelos de IA podem ser superotimizados para certos aspectos do treinamento, o que pode levar a patologias de otimização, como a lei de Goodhart. Isso significa que o modelo pode ser treinado para produzir respostas que parecem plausíveis, mas são incorretas ou sem sentido. Essa superotimização pode resultar em transcrições que não refletem com precisão a realidade, aumentando a ocorrência de alucinações.

Falta de Precisão em Contextos Específicos

Em contextos específicos, como transcrições de áudio, o Whisper pode introduzir erros significativos, incluindo comentários raciais ou tratamentos médicos imaginados. Isso é particularmente problemático em ambientes críticos, como hospitais e outros contextos médicos, onde a precisão é crucial. A falta de precisão pode resultar em consequências graves, afetando a qualidade do atendimento ao paciente.

Dados de Treinamento e Viés Algorítmico

Os dados de treinamento dos modelos de IA podem conter vieses algorítmicos e de representação, o que pode ser refletido nas transcrições geradas. Esses vieses podem levar a alucinações que são prejudiciais ou inapropriadas. A análise cuidadosa dos dados de treinamento é fundamental para mitigar esses problemas e melhorar a precisão das transcrições.

Frequência de Alucinações

Estudos e relatórios indicam que as alucinações são frequentes nas transcrições do Whisper. Por exemplo, um pesquisador encontrou alucinações em oito de cada 10 transcrições de áudio, e outro desenvolvedor relatou alucinações em quase todas as 26.000 transcrições que criou com o Whisper. Essa alta frequência de alucinações levanta preocupações sobre a confiabilidade do modelo em aplicações práticas.

Fontes de pesquisa

• Artigo sobre alucinações prejudiciais nas transcrições por IA
• Wikipedia sobre ChatGPT Plus
• Discussão no Reddit sobre alternativas ao Whisper

Conclusão

As alucinações nas transcrições do Whisper são um fenômeno complexo que resulta de várias causas, incluindo limitações dos modelos de IA generativa, viés algorítmico e falta de precisão em contextos específicos. A compreensão dessas causas é fundamental para aprimorar a tecnologia de transcrição e garantir que sua aplicação em áreas críticas, como a medicina, seja realizada com segurança e eficácia. A pesquisa contínua e a análise crítica dos dados de treinamento são essenciais para minimizar as alucinações e melhorar a precisão das transcrições geradas por IA.
Fonte

#Whisper, #IA, #transcrições, #hallucinações, #pesquisa, #médico, #precisão, #cryptoalch