Les ingénieurs logiciel, les développeurs et les chercheurs universitaires ont de sérieuses préoccupations concernant les transcriptions de Whisper, l’outil de l’OpenAI, selon un rapport publié par l’Associated Press. Alors qu’il n’y a pas eu de pénurie de discussions autour de la tendance de l’IA générative à “halluciner” – en d’autres termes, à inventer des choses – il est un peu surprenant que ce soit un problème dans la transcription, où l’on s’attendrait à ce que le script suive de près l’audio qui est transcrit.
Au lieu de cela, les chercheurs ont indiqué à l’AP que Whisper a introduit tout, des commentaires raciaux aux traitements médicaux imaginés, dans les transcriptions. Et cela pourrait être particulièrement désastreux alors que Whisper est adopté dans les hôpitaux et autres contextes médicaux.
C’est potentiellement catastrophique, surtout dans des lieux où les erreurs peuvent avoir de graves conséquences, comme dans les hôpitaux.
Un chercheur de l’Université du Michigan qui étudie les réunions publiques a trouvé des hallucinations dans huit transcriptions audio sur dix. Un ingénieur en apprentissage automatique a étudié plus de 100 heures de transcriptions Whisper et a trouvé des hallucinations dans plus de la moitié d’entre elles. Et un développeur a signalé avoir trouvé des hallucinations dans presque toutes les 26 000 transcriptions qu’il a créées avec Whisper.
Un porte-parole de OpenAI a déclaré que l’entreprise travaille constamment à l’amélioration de la précision de ses modèles, y compris à la réduction des hallucinations. Il a également souligné que les politiques d’utilisation de la société interdisent l’utilisation de Whisper “dans certains contextes de prise de décisions à haut risque”. “Nous remercions les chercheurs pour avoir partagé leurs résultats”, ont-ils ajouté.
