OpenAI, dans sa mission d’aligner les futurs modèles d’IA sur les “valeurs de l’humanité”, souhaite mettre en œuvre des idées provenant du public. Pour ce faire, la start-up d’IA forme une nouvelle équipe, appelée Collective Alignment, composée de chercheurs et d’ingénieurs. Leur objectif est de créer un système permettant de recueillir et de “coder” les contributions du public sur le comportement de ses modèles dans les produits et services d’OpenAI, a annoncé l’entreprise aujourd’hui. “Nous continuerons à travailler avec des conseillers externes et des équipes de subvention, y compris le lancement de pilotes pour intégrer … des prototypes dans le pilotage de nos modèles”, écrit OpenAI dans un post de blog. “Nous recrutons … des ingénieurs de recherche issus de divers horizons techniques pour aider à construire ce travail avec nous”.
L’équipe de Collective Alignment est une extension du programme public d’OpenAI, lancé en mai dernier, qui attribuait des subventions pour financer des expériences visant à mettre en place un “processus démocratique” pour décider des règles que les systèmes d’IA devraient suivre. L’objectif du programme, selon OpenAI lors de son lancement, était de financer des individus, des équipes et des organisations pour développer des preuves de concept qui pourraient répondre à des questions sur les garde-fous et la gouvernance de l’IA.
“OpenAI, en faisant face à un examen de plus en plus rigoureux de la part des décideurs politiques, a récemment cherché à réduire son risque réglementaire dans l’UE en ce qui concerne la protection des données, en utilisant une filiale basée à Dublin pour limiter la capacité de certains chiens de garde de la vie privée du bloc à agir unilatéralement sur les préoccupations.”
Dans son post de blog d’aujourd’hui, OpenAI a fait le point sur le travail des bénéficiaires de subventions, qui allait de interfaces de chat vidéo à des plateformes pour les audits crowd-sourcés de modèles d’IA et “des approches pour cartographier les croyances à des dimensions qui peuvent être utilisées pour affiner le comportement du modèle”. Tout le code utilisé dans le travail des bénéficiaires a été rendu public ce matin, avec de brèves résumés de chaque proposition et des conclusions de haut niveau. OpenAI a tenté de présenter le programme comme étant dissocié de ses intérêts commerciaux. Mais c’est un peu difficile à avaler, compte tenu des critiques du PDG d’OpenAI, Sam Altman, sur la régulation dans l’UE et ailleurs.
Altman, avec le président d’OpenAI Greg Brockman et le scientifique en chef Ilya Sutskever, ont maintes fois soutenu que le rythme de l’innovation en IA est tellement rapide que nous ne pouvons pas attendre que les autorités existantes contrôlent adéquatement la technologie – d’où le besoin de crowdsourcer le travail. Certains rivaux d’OpenAI, dont Meta, ont accusé OpenAI (entre autres) de chercher à sécuriser la “capture réglementaire de l’industrie de l’IA” en faisant du lobbying contre l’IA R&D ouverte. OpenAI dément cela – et pointerait probablement vers le programme de subventions (et l’équipe de Collective Alignment) comme un exemple de son “ouverture”.
Hier – en partie pour rassurer les régulateurs, sans aucun doute – OpenAI a annoncé qu’elle travaille avec des organisations pour tenter de limiter les façons dont sa technologie pourrait être utilisée pour influencer ou manipuler élections de manière malveillante. Les efforts de la start-up comprennent la rend public de quand les images sont générées par IA en utilisant ses outils et le développement d’approches pour identifier le contenu généré même après que les images ont été modifiées.
