Lors du CES 2025, Nvidia a dévoilé un prototype d’avatar AI, nommé R2X, qui vit sur le bureau de votre PC. Ressemblant à un personnage de jeu vidéo, il peut vous aider à naviguer sur les applications de votre ordinateur. R2X est rendu et animé à l’aide des modèles d’IA de Nvidia et peut fonctionner sur les LLM populaires au choix des utilisateurs, tels que GPT-4o d’OpenAI ou Grok de xAI. Les utilisateurs peuvent dialoguer avec R2X par texte et par voix, envoyer des fichiers pour traitement, voire permettre à l’assistant AI de voir en direct ce qui se passe sur votre écran ou votre caméra.
Les entreprises technologiques créent de nombreux avatars IA récemment, non seulement dans les jeux vidéo, mais aussi pour les clients d’entreprise et de consommation. Les premières démos sont étranges, mais certains pensent que ces avatars sont une interface utilisateur prometteuse pour les assistants IA. Avec R2X, Nvidia essaie de combiner les capacités génératives des jeux vidéo avec les LLM de pointe pour créer un assistant IA qui a l’apparence et la sensation d’un humain. La société prévoit de rendre ces avatars open source au cours du premier semestre 2025.
Nvidia voit cela comme une nouvelle interface utilisateur qui permet aux développeurs de construire avec, en permettant aux utilisateurs de brancher leurs produits logiciels d’IA préférés ou même de faire fonctionner ces avatars localement. Tout comme la fonction Recall de Microsoft (qui a été retardée pour des raisons de confidentialité), R2X peut prendre des captures d’écran constantes de votre écran et les faire passer par un modèle d’IA pour traitement, bien que cette fonction soit désactivée par défaut. Lorsqu’il est activé, il peut donner des commentaires sur les applications en cours d’exécution sur votre ordinateur et, par exemple, vous aider à résoudre une tâche de codage complexe.
“R2X est encore un prototype, et même Nvidia admet qu’il reste quelques bugs à résoudre. Néanmoins, il montre déjà l’avenir prometteur de cette technologie.”
Dans les démos avec TechCrunch, l’avatar de Nvidia avait une impression de vallée dérangeante – son visage parfois coincé dans des positions étranges, et son ton se sentait parfois un peu agressif. De manière générale, je trouve un peu bizarre d’avoir un avatar humanoïde qui me regarde pendant que je travaille. R2X a généralement donné des instructions utiles et observé avec précision ce qui se passait à l’écran. Mais à un moment donné, l’avatar nous a donné des instructions incorrectes et plus tard, l’avatar a cessé de pouvoir voir l’écran. Cela pourrait être un problème avec le modèle d’IA sous-jacent (dans ce cas, GPT-4o), mais l’exemple montre les limites de cette technologie naissante.
Dans une démo, un chef de produit Nvidia a montré comment R2X peut visualiser les applications à l’écran et aider les utilisateurs. Plus précisément, R2X nous a aidé à utiliser la fonction de remplissage générative de Adobe Photoshop. La photo que nous avons sélectionnée était celle du PDG de Nvidia, Jensen Huang, debout dans un restaurant asiatique avec deux employés du restaurant. L’avatar de Nvidia a halluciné et a donné de mauvaises instructions pour trouver la fonction de remplissage générative dans Photoshop. Plus tard, il a perdu la capacité de voir l’écran, mais après avoir changé le modèle d’IA que nous utilisions pour Grok de xAI, l’avatar a retrouvé sa capacité à voir l’écran.
