OpenAI a formé un nouveau comité pour superviser les décisions de sécurité “critiques” liées aux projets et aux opérations de l’entreprise. Cependant, dans un geste qui ne manquera pas de susciter l’ire des éthiciens, OpenAI a choisi de doter le comité de membres internes à l’entreprise, y compris Sam Altman, le PDG d’OpenAI, plutôt que d’observateurs extérieurs. Altman et le reste du comité de sécurité – les membres du conseil d’administration d’OpenAI Bret Taylor, Adam D’Angelo et Nicole Seligman ainsi que le scientifique en chef Jakub Pachocki, Aleksander Madry (qui dirige l’équipe de “préparation” d’OpenAI), Lilian Weng (responsable des systèmes de sécurité), Matt Knight (responsable de la sécurité) et John Schulman (responsable de la “science de l’alignement”) – seront chargés d’évaluer les processus et les mesures de sécurité d’OpenAI au cours des 90 prochains jours, selon un article sur le blog corporatif de l’entreprise.
Le comité partagera ensuite ses conclusions et recommandations avec l’ensemble du conseil d’administration d’OpenAI pour examen, dit OpenAI, moment auquel il publiera une mise à jour sur toutes suggestions adoptées “d’une manière qui est conforme à la sécurité et à l’intégrité”. “OpenAI a récemment commencé à former son prochain modèle frontalier et nous prévoyons que les systèmes qui en résulteront nous porteront au niveau suivant de capacités sur notre chemin vers [intelligence artificielle générale,]”, écrit OpenAI. “Bien que nous soyons fiers de construire et de publier des modèles qui sont les meilleurs de l’industrie tant en termes de capacités que de sécurité, nous accueillons un débat robuste en ce moment crucial.”
Altman a une fois promis que des personnes extérieures joueraient un rôle important dans la gouvernance d’OpenAI. Dans un article du New Yorker en 2016, il a déclaré qu’OpenAI “[planifiait] un moyen de permettre à de vastes pans du monde d’élire des représentants à un … conseil de gouvernance”. Cela ne s’est jamais produit – et il semble peu probable que cela se produise à ce stade.
OpenAI a vu ces derniers mois plusieurs départs de haut niveau du côté sécurité de son équipe technique – et certains de ces anciens employés ont exprimé des préoccupations quant à ce qu’ils perçoivent comme une dépriorisation intentionnelle de la sécurité de l’IA. Daniel Kokotajlo, qui travaillait dans l’équipe de gouvernance d’OpenAI, a démissionné en avril après avoir perdu confiance dans le fait qu’OpenAI se comporterait de manière “responsable” autour de la publication d’une IA de plus en plus capable, comme il l’a écrit dans un article sur son blog personnel. Et Ilya Sutskever, un cofondateur d’OpenAI et ancien scientifique en chef de l’entreprise, a quitté son poste en mai après une longue bataille avec Altman et ses alliés – en partie, semble-t-il, à cause de la précipitation d’Altman à lancer des produits propulsés par l’IA au détriment du travail sur la sécurité. Plus récemment, Jan Leike, un ancien chercheur de DeepMind qui, lorsqu’il était chez OpenAI, était impliqué dans le développement de ChatGPT et le prédécesseur de ChatGPT, InstructGPT, a démissionné de son poste de chercheur en sécurité, déclarant dans une série de messages sur X qu’il pensait qu’OpenAI “n’était pas sur la trajectoire” pour régler les problèmes liés à la sécurité et à la sûreté de l’IA “correctement”.
La chercheuse en politique sur l’IA, Gretchen Krueger, qui a quitté OpenAI la semaine dernière, a fait écho aux déclarations de Leike, appelant l’entreprise à améliorer sa responsabilité et sa transparence ainsi que “le soin avec lequel [elle utilise sa] propre technologie”. Nous devons faire plus pour améliorer des choses fondamentales comme les processus de prise de décision; la responsabilité; la transparence; la documentation; l’application des politiques; le soin avec lequel nous utilisons notre propre technologie; et des mesures d’atténuation pour les impacts sur l’inégalité, les droits et l’environnement. – Gretchen Krueger (@GretchenMarina) 22 mai 2024 Quartz note que, outre Sutskever, Kokotajlo, Leike et Krueger, au moins cinq des employés les plus soucieux de la sécurité d’OpenAI ont soit démissionné, soit été évincés depuis la fin de l’année dernière, y compris les anciens membres du conseil d’administration d’OpenAI Helen Toner et Tasha McCauley.
Dans un article d’opinion pour The Economist publié dimanche, Toner et McCauley ont écrit qu’avec Altman à la barre, ils ne croyaient pas qu’OpenAI puisse être digne de confiance pour se rendre elle-même responsable. “[B]asé sur notre expérience, nous croyons que l’autogouvernance ne peut résister de manière fiable à la pression des incitations au profit”, ont déclaré Toner et McCauley. Selon le point de vue de Toner et McCauley, TechCrunch a rapporté plus tôt ce mois-ci que l’équipe de superalignement d’OpenAI, chargée de développer des moyens de gouverner et de diriger des systèmes d’IA “superintelligents”, s’était vu promettre 20% des ressources informatiques de l’entreprise – mais n’a rarement reçu qu’une fraction de cela. L’équipe de superalignement a depuis été dissoute, et une grande partie de son travail a été placée sous la responsabilité de Schulman et d’un groupe consultatif de sécurité qu’OpenAI a formé en décembre. OpenAI a plaidé en faveur de la réglementation de l’IA. En même temps, elle a fait des efforts pour façonner cette réglementation, embauchant un lobbyiste interne et des lobbyistes dans un nombre croissant de cabinets d’avocats, et dépensant des centaines de milliers de dollars en lobbying aux États-Unis rien qu’au quatrième trimestre 2023. Récemment, le département américain de la Sécurité intérieure a annoncé qu’Altman serait parmi les membres de son nouveau conseil de sécurité et de sûreté de l’IA, qui fournira des recommandations pour un “développement et déploiement sûr et sécurisé de l’IA” dans l’ensemble des infrastructures critiques des États-Unis.
