O Whisper da OpenAI inventa partes de transcrições – muito


Imagine ir ao médico, contar exatamente como você está se sentindo e depois uma transcrição acrescenta informações falsas e altera sua história. Esse poderia ser o caso em centros médicos que usam o Whisper, a ferramenta de transcrição da OpenAI. Mais de uma dúzia de desenvolvedores, engenheiros de software e pesquisadores acadêmicos encontraram evidências de que o Whisper cria alucinações – texto inventado – que inclui medicamentos inventados, comentários raciais e comentários violentos. ABC Notícias relatórios. No entanto, no último mês, a plataforma de IA de código aberto HuggingFace registrou 4,2 milhões de downloads da versão mais recente do Whisper. A ferramenta também está integrada nas plataformas de computação em nuvem da Oracle e da Microsoft, junto com algumas versões do ChatGPT.

As evidências prejudiciais são bastante extensas, com especialistas encontrando falhas significativas no Whisper em todos os aspectos. Tomemos como exemplo um pesquisador da Universidade de Michigan que encontrou textos inventados em oito entre dez transcrições de áudio de reuniões públicas. Em outro estudo, cientistas da computação encontraram 187 alucinações ao analisar mais de 13 mil gravações de áudio. A tendência continua: um engenheiro de aprendizado de máquina os encontrou em cerca de metade das mais de 100 horas de transcrições, enquanto um desenvolvedor detectou alucinações em quase todas as 26.000 transcrições que ele fez com que o Whisper criasse.

O perigo potencial torna-se ainda mais claro quando se olham para exemplos específicos destas alucinações. Duas professoras, Allison Koenecke e Mona Sloane, da Universidade Cornell e da Universidade da Virgínia, respectivamente, analisaram clipes de um repositório de pesquisa chamado TalkBank. A dupla descobriu que quase 40 por cento das alucinações tinha o potencial de ser mal interpretado ou deturpado. Em um caso, Whisper inventou que três pessoas discutidas eram negras. Em outra, Whisper mudou “Ele, o menino, ia, não tenho certeza exatamente, levar o guarda-chuva”. para “Ele pegou um pedaço grande de uma cruz, um pedaço pequenininho … Tenho certeza que ele não tinha uma faca terrorista, então ele matou várias pessoas.”

As alucinações de Whisper também têm implicações médicas arriscadas. Uma empresa chamada Nabla utiliza Whisper pela sua ferramenta de transcrição médica, utilizada por mais de 30.000 médicos e 40 sistemas de saúde — até agora transcrevendo cerca de sete milhões de visitas. Embora a empresa esteja ciente do problema e afirme que está resolvendo o problema, atualmente não há como verificar a validade das transcrições. A ferramenta apaga todo o áudio por “razões de segurança de dados”, de acordo com o diretor de tecnologia da Nabla, Martin Raison. A empresa afirma ainda que os provedores devem editar e aprovar rapidamente as transcrições (com todo o tempo extra de que os médicos dispõem?), mas que esse sistema pode mudar. Enquanto isso, ninguém mais pode confirmar se as transcrições são precisas devido às leis de privacidade.



Source link