L’outil de chatbot d’OpenAI, ChatGPT, commence à travailler avec d’autres applications sur votre ordinateur. Jeudi dernier, la start-up a annoncé que l’application de bureau de ChatGPT pour macOS peut désormais lire le code dans plusieurs applications de codage pour développeurs, telles que VS Code, Xcode, TextEdit, Terminal et iTerm2. Cela signifie que les développeurs n’auront plus besoin de copier et coller leur code dans ChatGPT, une pratique courante pour utiliser cette application de chatbot. Lorsque la fonction est activée, OpenAI envoie automatiquement la section de code sur laquelle vous travaillez à travers son chatbot en tant que contexte, en parallèle de votre incitation. Cependant, contrairement à des outils de codage AI populaires tels que Cursor ou GitHub Copilot, ChatGPT ne peut actuellement pas écrire de code directement dans les applications des développeurs en votre nom.
La fonctionnalité, appelée “Work with Apps”, est loin d’être un agent AI, mais OpenAI déclare que faire comprendre à ChatGPT d’autres applications est un “élément clé” pour créer des systèmes agences. L’un des plus grands défis auxquels les agents AI sont actuellement confrontés est de leur faire comprendre le reste de l’écran de votre ordinateur, plutôt que des commandes ou leurs propres réponses. OpenAI explique qu’il concentre cette fonctionnalité sur les applications de codage pour commencer ; c’est probablement parce que les assistants de codage AI sont devenus l’un des cas d’utilisation les plus populaires pour les LLM. La fonctionnalité est disponible pour les utilisateurs Plus et Teams à partir d’aujourd’hui et sera déployée pour les utilisateurs Enterprise et Edu dans les semaines à venir. OpenAI affirme que ChatGPT sera capable de travailler avec d’autres types d’applications à l’avenir, en particulier des applications basées sur le texte qui pourraient être utilisées pour des tâches d’écriture.
La prochaine étape pour OpenAI est d’intégrer cette fonctionnalité avec d’autres applications non compatibles avec le lecteur d’écran d’Apple.
Lors d’une démonstration avec TechCrunch, un employé d’OpenAI a ouvert l’application ChatGPT et un environnement Xcode contenant un simple projet modélisant le système solaire – bien qu’il manquait la Terre. L’employé a sélectionné un onglet Xcode dans ChatGPT, qui indique à l’assistant de chatbot de regarder l’application en question, puis a demandé à l’assistant d’ajouter les planètes manquantes. Le chatbot a pu accomplir la tâche, en écrivant une ligne de code pour représenter la Terre qui correspondait au format du reste du projet. Cependant, l’employé devait encore copier-coller la réponse de ChatGPT dans son environnement.
Pour lire différentes applications, OpenAI s’appuie principalement sur l’API d’accessibilité de macOS pour lire le texte et le traduire pour ChatGPT, selon Alexander Embiricos, responsable du produit de bureau d’OpenAI. Le lecteur d’écran Windows, qui aide à rendre fonctionnelle la fonctionnalité VoiceOver d’Apple, existe depuis presque deux décennies. Il est généralement considéré comme assez fiable pour la plupart des applications courantes, mais pas pour tout. Pour certaines applications, comme VS Code de Microsoft, “Work with Apps” nécessite l’installation par les utilisateurs d’une extension spéciale pour interroger le contenu.
