Les prestataires travaillant à l’amélioration de l’IA Gemini de Google comparent ses réponses à celles produites par le modèle Claude, concurrent de Anthropic, selon une correspondance interne vue par TechCrunch. Lorsqu’elle a été contactée par TechCrunch pour commentaires, Google n’a pas voulu dire si elle avait obtenu la permission d’utiliser Claude dans les tests contre Gemini. Alors que les entreprises technologiques s’efforcent de construire de meilleurs modèles d’IA, la performance de ces modèles est souvent évaluée par rapport à ses concurrents, généralement en faisant passer leurs propres modèles à travers des benchmarks industriels plutôt que d’avoir des contractants évaluer minutieusement les réponses de l’IA de leurs concurrents.
Les prestataires travaillant sur Gemini chargés d’évaluer l’exactitude des résultats du modèle doivent noter chaque réponse qu’ils voient selon plusieurs critères, comme la véracité et la verbosité. Les prestataires disposent de 30 minutes par incitation pour déterminer quelle réponse est la meilleure, celle de Gemini ou celle de Claude, selon la correspondance observée par TechCrunch. Les prestataires ont récemment commencé à remarquer des références à Claude d’Anthropic apparaissant sur la plateforme interne de Google qu’ils utilisent pour comparer Gemini à d’autres modèles d’IA non nommés, a montré la correspondance.
Les prestataires de services de Google notent que les réponses de Claude semblent mettre l’accent sur la sécurité plus que celles de Gemini.
Au moins l’un des résultats présentés aux prestataires de Gemini, vu par TechCrunch, indiquait explicitement: “Je suis Claude, créé par Anthropic”. Un chat interne a montré que les entrepreneurs remarquaient que les réponses de Claude semblent mettre plus l’accent sur la sécurité que Gemini. “Les paramètres de sécurité de Claude sont les plus stricts” parmi les modèles d’IA, a écrit un contractant. Dans certains cas, Claude ne répondait pas aux sollicitations qu’il considérait comme non sûres, comme jouer le rôle d’un autre assistant AI. Dans un autre cas, Claude a évité de répondre à une sollicitation, tandis que la réponse de Gemini a été signalée comme une “énorme violation de sécurité” pour avoir inclus “nudité et bondage”.
Les conditions commerciales d’Anthropic interdisent aux clients d’accéder à Claude “pour construire un produit ou un service concurrent” ou “pour former des modèles d’IA concurrents” sans l’approbation d’Anthropic. Google est un important investisseur dans Anthropic. Shira McNamara, porte-parole de Google DeepMind, qui gère Gemini, n’a pas voulu dire – lorsqu’elle a été interrogée par TechCrunch – si Google avait obtenu l’autorisation d’Anthropic pour accéder à Claude. Lorsque contacté avant la publication, un porte-parole d’Anthropic n’a pas commenté à temps pour la presse. McNamara a déclaré que DeepMind “compare les résultats des modèles” pour les évaluations mais qu’il ne forme pas Gemini sur les modèles Anthropic. “Bien sûr, conformément à la pratique standard de l’industrie, dans certains cas nous comparons les résultats des modèles dans le cadre de notre processus d’évaluation”, a déclaré McNamara. “Cependant, toute suggestion que nous avons utilisé les modèles Anthropic pour former Gemini est inexacte”.
La semaine dernière, TechCrunch a exclusivement rapporté que les entrepreneurs de Google travaillant sur les produits IA de l’entreprise sont désormais obligés d’évaluer les réponses de l’IA de Gemini dans des domaines en dehors de leur expertise. La correspondance interne a exprimé des préoccupations des entrepreneurs que Gemini pourrait générer des informations inexactes sur des sujets hautement sensibles tels que les soins de santé.
