Selon un nouveau rapport de The Information, le prochain modèle phare d’OpenAI pourrait ne pas représenter une avancée aussi importante que ses prédécesseurs. Les employés qui ont testé le nouveau modèle, baptisé Orion, ont constaté que même si ses performances dépassent celles des modèles existants d’OpenAI, l’amélioration était moindre que celle qu’ils avaient constatée lors du passage de GPT-3 à GPT-4. Autrement dit, le taux d’amélioration semble se ralentir.
En fait, Orion pourrait ne pas être systématiquement meilleur que les modèles précédents dans certains domaines, comme la programmation. En réponse, OpenAI a créé une équipe de base pour déterminer comment l’entreprise peut continuer à améliorer ses modèles face à une baisse de l’approvisionnement en nouvelles données d’entraînement.
Ces nouvelles stratégies incluent l’entraînement d’Orion sur des données synthétiques produites par des modèles d’IA, ainsi qu’une amélioration des modèles pendant le processus post-entraînement.
OpenAI n’a pas immédiatement répondu à une demande de commentaire. En réponse aux précédents rapports sur les plans pour son modèle phare, la société a déclaré : “Nous n’avons pas prévu de sortir un modèle baptisé Orion cette année”.
Inscrivez-vous aux newsletters pour les plus grandes nouvelles technologiques de l’industrie. Restez à jour avec les dernières actualités en matière d’IA.
