OpenAI a récemment dévoilé son tout dernier modèle génératif phare, o1. Commercialisé comme un modèle de “raisonnement”, o1 prend un temps de “réflexion” plus long avant de répondre à des questions, décomposant les problèmes et vérifiant ses propres réponses. OpenAI admet qu’il y a beaucoup de choses que o1 ne peut pas bien faire. Mais dans certaines tâches, comme la physique et les mathématiques, o1 excelle malgré le fait qu’il n’a pas nécessairement plus de paramètres que le précédent modèle performant d’OpenAI, le GPT-4o. Cela a des implications pour la réglementation de l’IA.
Par exemple, le projet de loi californien SB 1047 impose des exigences de sécurité sur les modèles d’IA qui coûtent plus de 100 millions de dollars à développer ou qui ont été formés en utilisant une puissance de calcul au-delà d’un certain seuil. Cependant, des modèles comme o1 démontrent que l’augmentation de la puissance de calcul pour la formation n’est pas la seule façon d’améliorer les performances d’un modèle. Dans un post sur X, le responsable de recherche chez Nvidia, Jim Fan, a suggéré que les futurs systèmes d’IA pourraient s’appuyer sur de petits “cœurs de raisonnement” plus faciles à former, plutôt que sur les architectures gourmandes en formation (par exemple, le Llama 405B de Meta) qui sont tendance ces derniers temps.
“Les modèles comme o1 mettent en lumière l’imperfection de l’idée d’utiliser la taille du modèle comme un indicateur de risque. C’est une combinaison de mauvaise science et de politiques qui mettent l’accent non pas sur les risques actuels que nous voyons dans le monde, mais sur les risques futurs.” – Sara Hooker, responsable du laboratoire de recherche de la start-up d’IA Cohere.
Des études universitaires récentes ont montré que de petits modèles comme o1 peuvent largement surpasser les grands modèles s’ils disposent de plus de temps pour réfléchir aux questions. Sara Hooker, responsable du laboratoire de recherche de la start-up d’IA Cohere, s’interroge dans une interview avec TechCrunch sur le fait qu’il soit judicieux pour les législateurs de lier les mesures réglementaires de l’IA à la puissance de calcul.
En revanche, cela ne signifie pas que les législateurs devraient défaire les régulations de l’IA à partir de leurs fondations pour recommencer à zéro. Beaucoup d’entre elles ont été rédigées pour être facilement amendables, dans l’hypothèse où l’IA évoluerait loin après leur promulgation. L’aspect délicat sera de déterminer quelle mesure pourrait être un meilleur indicateur de risque que la puissance de calcul pour la formation. Comme tant d’autres aspects de la régulation de l’IA, c’est une question à méditer pendant que les projets de loi aux États-Unis, et dans le monde, se rapprochent de leur adoption.
