Récemment, la startup spécialisée dans la détection d’IA GPTZero a effectué une analyse exhaustive des 4 841 articles acceptés lors de la dernière conférence NeurIPS, l’un des événements majeurs dans le domaine de l’intelligence artificielle. Leur inspection a révélé 100 citations hallucinations réparties dans 51 articles, dont elles ont confirmé la fausseté. Ce rapport, transmis à TechCrunch, soulève une question intrigante : même dans un milieu aussi rigoureusement encadré que celui de NeurIPS, où chaque article est soumis à une revue par des pairs, des erreurs de citations générées par des modèles de langage semblent se glisser.
Il faut toutefois relativiser ces chiffres : avec des dizaines de citations par article, ces erreurs représentent une infime proportion, moins de 1%. Chaque citation individuelle ace été vérifiée, mais statistiquement, cela ne remet pas en cause la crédibilité globale de la recherche. Selon NeurIPS, même si 1,1% des articles comportent une ou plusieurs références incorrectes dues à l’usage des LLM (modèles de langage), cela n’annule pas nécessairement la scientificité globale des travaux concernés. En somme, une erreur de citation, bien que visible, n’invalide pas forcément la validité des résultats scientifiques eux-mêmes.
Les erreurs de citations générées par l’IA ne compromettent pas forcément la qualité scientifique, mais soulignent la vulnérabilité des processus de vérification dans un contexte d’afflux massif de soumissions.
Ce qui est particulièrement significatif, c’est que ces erreurs surviennent dans un contexte où chaque référence a une importance cruciale : les citations ne servent pas seulement à donner du crédit, mais jouent également un rôle clé dans la progression de carrière des chercheurs. La fabrication ou la falsification de références, même minoritaire, risque d’éroder la valeur de ces indicateurs, notamment dans un secteur où la reconnaissance se mesure aussi à la fréquence des citations. Face à cet enjeu, les relecteurs, malgré leur rigueur, ont du mal à tout superviser, surtout face à la quantité impressionnante de soumissions, ce qui explique une certaine permissivité face à ces erreurs.
L’incapacité à contrôler complètement les références attribuées par des IA dans des conférences de haut niveau interroge sur la fiabilité de la recherche et la responsabilité des chercheurs eux-mêmes.
GPTZero insiste sur le fait que l’objectif de leur rapport est d’offrir des données concrètes à propos de la propagation de ces erreurs dans un contexte où la « tsunami » des soumissions met à rude épreuve les processus de revue. La startup cite également un article prévu pour mai 2025, « The AI Conference Peer Review Crisis », évoquant explicitement la crise que traverse l’évaluation par les pairs lors des conférences majeures, notamment NeurIPS. Cependant, cette situation soulève une évidence centrale : si même les experts de l’IA, avec leur réputation à la clé, ne peuvent garantir l’exactitude de leur usage des modèles de langage dans la rédaction scientifique, cela pose un problème de fond pour tout le secteur et potentiellement, pour la société dans son ensemble.
En conclusion, cette découverte résonne comme une ironie amère : alors que la communauté scientifique – et surtout celles qui façonnent l’avenir de l’IA – lutte pour garantir la fiabilité des travaux, ses membres semblent eux-mêmes vulnérables à des erreurs commises par leurs outils. Si même les chercheurs les plus chevronnés ne peuvent garantir la fiabilité des références générées par ces modèles, la question se pose quant à la confiance que l’on peut encore accorder à la recherche elle-même. La transparence, la vigilance et la volonté d’adapter nos méthodes d’évaluation deviennent plus cruciales que jamais, dans un monde où l’intelligence artificielle se fraie un chemin au cœur même de la science.
