La startup World Labs, fondée par la pionnière de l’IA Fei-Fei Li, a dévoilé son premier projet : un système d’IA capable de générer des scènes en 3D dignes de jeux vidéo à partir d’une image unique. De nombreux systèmes d’IA peuvent transformer une photo en modèles et environnements 3D. Mais les scènes de World Labs sont uniques en ce qu’elles sont interactives – et modifiables. “[Notre technologie] vous permet de vous immerger dans n’importe quelle image et de l’explorer en 3D”, a écrit World Labs dans un article de blog. “Au-delà de l’image d’entrée, tout est généré”. Le système de World Labs convertit une image en une scène 3D interactive et explorables.
Les scènes générées par l’IA, que n’importe qui muni d’un clavier et d’une souris peut explorer sur une démo sur le site web de World Labs, sont impressionnantes – même si elles sont un peu cartoonesques. Elles sont rendues en direct dans le navigateur et disposent d’une caméra contrôlable avec une profondeur de champ simulée réglable (DoF). Plus l’effet DoF est puissant, plus les objets en arrière-plan apparaissent flous. Le système de World Labs fait partie d’une catégorie émergente d’IA appelée “modèles mondiaux”. Beaucoup de ces modèles peuvent simuler des jeux et des environnements 3D – mais avec des problèmes d’artefacting et de cohérence.
“Nous avons déjà la possibilité de créer des mondes virtuels interactifs, mais cela coûte des centaines et des centaines de millions de dollars et beaucoup de temps de développement”, a déclaré Justin Johnson, co-fondateur de World Labs.
Par exemple, le modèle mondial de la startup Decart, qui simule Minecraft, Oasis, a une faible résolution et “oublie” rapidement la disposition des niveaux. En revanche, l’approche de World Labs garantit que les scènes restent les mêmes une fois qu’elles sont générées, et qu’elles respectent les lois de base de la physique, ce qui signifie qu’elles ont un sens de la solidité et de la profondeur. Le système de World Labs peut également appliquer des effets interactifs et des animations aux scènes, comme changer la couleur des objets et éclairer dynamiquement les arrière-plans.
La plupart des outils génératifs d’IA créent du contenu 2D comme des images ou des vidéos, mais générer en 3D améliore le contrôle et la cohérence. Cela va changer la façon dont nous créons des films, des jeux, des simulateurs et d’autres manifestations numériques de notre monde physique. Il est certain qu’il y a de la place pour l’amélioration. Les scènes de World Labs ne sont pas entièrement explorables – vos mouvements sont limités à une petite zone. De plus, il existe des erreurs de rendu occasionnelles, par exemple des objets qui se fondent ensemble de manière non naturelle. Mais World Labs précise qu’il ne s’agit que d’une “première preview”.
“Nous travaillons d’arrache-pied pour améliorer la taille et la fidélité de nos mondes générés et expérimenter de nouvelles façons pour les utilisateurs d’interagir avec eux”, écrit la startup dans son blog. World Labs, qui a été lancé plus tôt cette année, a recueilli 230 millions de dollars en capital-risque auprès d’investisseurs tels qu’Andreessen Horowitz (a16z), Ashton Kutcher, Intel Capital, AMD Ventures et Eric Schmidt. Évaluée à plus d’un milliard de dollars, la société espère avoir son premier produit prêt en 2025. Au-delà des scènes interactives, World Labs prévoit de créer des outils qui pourraient être utiles à des professionnels tels que les artistes, les designers, les développeurs, les cinéastes et les ingénieurs. Elle vise des clients allant des développeurs de jeux vidéo aux studios de cinéma.
