Il y a deux semaines, OpenAI annonçait la relance de son programme en robotique, un domaine qu’il avait abandonné en 2021. Cette initiative témoigne de la course effrénée des grands laboratoires d’intelligence artificielle pour apprendre aux machines à opérer dans le monde physique. Cependant, la construction de robots performants se heurte aujourd’hui à un obstacle majeur : le manque de données d’entraînement adaptées, comparables à celles utilisées pour les modèles linguistiques. Contrairement à ces derniers, qui ont bénéficié d’un océan de textes en accès libre, les robots ont besoin de données couvrant l’interaction physique, un type de contenu encore très rare et difficile à collecter.
Les vidéos YouTube ou les enregistrements réalisés par des gig-workers sont souvent de faible qualité et leur traitement reste complexe, ce qui limite leur utilité pour la modélisation robotique. C’est dans ce contexte que XDOF, une startup émergente dévoilée au grand public aujourd’hui, mise sur une nouvelle infrastructure pour pallier cette pénurie de données. La société pense que le prochain grand défi de l’IA ne réside pas dans la taille des modèles ou la puissance des puces, mais dans la boucle de rétroaction de données nécessaire pour apprendre aux robots à interagir dans notre monde physique. La startup ambitionne de développer des pipelines de collecte, des outils d’annotation et des systèmes de nettoyage de données, indispensables pour alimenter les laboratoires en quête de modèles robotisés avancés.
La véritable frontière de l’intelligence artificielle physique réside dans la qualité et la quantité des données collectées pour l’entraînement des robots.
Pour lancer cette démarche, XDOF a noué un partenariat avec le laboratoire d’intelligence artificielle de l’Université de Berkeley, avec lequel elle prévoit de publier une des plus grandes collections de données de manipulation robotique jamais constituée, nommée ABC. Ce dataset comprend 130 000 trajectoires de manipulation, 300 heures de simulation et 100 heures d’évaluation, un volume inédit qui offre aux chercheurs un accès à une ressource précieuse pour entraîner leurs robots. Lors de tests initiaux, ces données ont déjà permis d’apprendre à des robots à plier des T-shirts, à empiler des cartons ou même à charger des AirPods dans leurs boîtiers, illustrant le potentiel de cette approche.
La société prévoit de construire une véritable pyramide de données, composée de trois niveaux : tout d’abord, les données de téléopération recueillies directement sur les robots en service ; ensuite, la collecte de données via des robots téléopérés, à l’image du système GELLO développé par les fondateurs ; enfin, des données “égo-centriques”, générées par des humains effectuant des tâches quotidiennes à l’aide de capteurs portables. La conception minutieuse du matériel, notamment des caméras, est cruciale pour optimiser la qualité des données recueillies, ce qui influe directement sur la performance des algorithmes de suivi des mouvements.
Pour réaliser ce projet, XDOF compte recruter et former des équipes de téléopérateurs et d’opérateurs de données égo-centriques, une tâche laborieuse et nécessitant une grande capacité opérationnelle. La question se pose alors : pourquoi les grands laboratoires d’IA ne prennent-ils pas en charge eux-mêmes cette collecte de données ? Selon Philipp Wu, co-fondateur et PDG de XDOF, il faut des infrastructures massives — des entrepôts de centaines de milliers de mètres carrés avec des centaines de robots, un investissement que la plupart de ces laboratoires préfèrent externaliser, car cela demande des ressources en capital, en focus et en gestion que peu peuvent se permettre. La société mise donc sur un marché de niche, offrant une solution clé en main pour cette tâche essentielle mais ingrate. Son nom, XDOF, joue sur le terme “degré de liberté” en robotique, symbolisant son ambition : permettre une liberté de mouvement quasi illimitée dans la capacité robotique, à l’image des robots humanoïdes modernes qui comptent jusqu’à 30 degrés de liberté.
