Une organisation développant des repères pour l’IA n’a pas révélé qu’elle avait reçu du financement de OpenAI jusqu’à récemment, ce qui a entraîné des allégations de comportement inapproprié de la part de certains membres de la communauté de l’IA. Epoch AI, une organisation à but non lucratif principalement financée par Open Philanthropy, une fondation de recherche et de dotation, a révélé le 20 décembre que OpenAI avait soutenu la création de FrontierMath. FrontierMath, un test composé de problèmes de niveau expert conçu pour mesurer les compétences mathématiques d’une IA, était l’un des repères utilisés par OpenAI pour présenter sa prochaine IA phare, o3.
Dans un post sur le forum LessWrong, un contractant pour Epoch AI utilisant le pseudonyme “Meemi” a déclaré que de nombreux contributeurs au repère FrontierMath n’ont pas été informés de l’implication d’OpenAI jusqu’à ce que celle-ci soit rendue publique. “La communication à ce sujet a été non transparente”, a écrit Meemi. “Selon moi, Epoch AI aurait dû divulguer le financement d’OpenAI, et les entrepreneurs auraient dû avoir une information transparente sur le potentiel de leur travail utilisé pour les capacités, lorsqu’ils choisissent de travailler sur un repère”.
Sur les réseaux sociaux, certains utilisateurs se sont inquiétés que cette absence de transparence puisse nuire à la réputation de FrontierMath en tant que benchmark objectif. En plus de soutenir FrontierMath, OpenAI avait accès à de nombreux problèmes et solutions du repère – un fait qu’Epoch AI n’a pas révélé avant le 20 décembre, lorsque o3 a été annoncé.
La saga est encore un autre exemple du défi de développer des benchmarks empiriques pour évaluer l’IA – et d’obtenir les ressources nécessaires pour le développement de benchmarks sans créer la perception de conflits d’intérêts.
Dans un post sur X, Carina Hong, étudiante en doctorat en mathématiques à Stanford, a également allégué que OpenAI disposait d’un accès privilégié à FrontierMath grâce à son accord avec Epoch AI, et que cela ne plaisait pas à certains contributeurs. “Six mathématiciens qui ont grandement contribué au benchmark FrontierMath ont confirmé [à moi]… qu’ils ne savaient pas qu’OpenAI aurait un accès exclusif à ce benchmark (et que d’autres n’en auront pas)”, a déclaré Hong. “La plupart expriment qu’ils ne sont pas sûrs qu’ils auraient contribué s’ils l’avaient su”.
En réponse au post de Meemi, Tamay Besiroglu, directeur associé d’Epoch AI et l’un des co-fondateurs de l’organisation, a affirmé que l’intégrité de FrontierMath n’avait pas été compromise, mais a reconnu qu’Epoch AI “avait fait une erreur” en n’étant pas plus transparent. “Nous étions limités dans la divulgation du partenariat jusqu’au moment du lancement de o3, et, avec le recul, nous aurions dû négocier plus fermement la possibilité d’être transparents avec les contributeurs du benchmark dès que possible”, a écrit Besiroglu. “Nos mathématiciens méritaient de savoir qui pourrait avoir accès à leur travail. Même si nous étions contractuellement limités dans ce que nous pouvions dire, nous aurions dû faire de la transparence avec nos contributeurs une partie non négociable de notre accord avec OpenAI”.
