L’IA générative a la capacité de créer du contenu. Cependant, elle peut être biaisée et parfois produire du texte toxique. Est-ce donc “sûr” ? Rick Caccia, le PDG de WitnessAI, croit que oui. “Sécuriser les modèles d’IA est un vrai problème, et c’est un sujet particulièrement passionnant pour les chercheurs en IA, mais c’est différent de la sécurité d’utilisation”, a déclaré Caccia, auparavant SVP du marketing chez Palo Alto Networks, lors d’une interview donnée à TechCrunch. “Je le vois comme une voiture de sport : avoir un moteur plus puissant, c’est-à-dire un modèle, ne vous apporte rien si vous n’avez pas de bons freins et une bonne direction. Les contrôles sont tout aussi importants pour une conduite rapide que le moteur”.
Il existe clairement une demande pour de tels contrôles parmi les entreprises, qui, tout en étant prudemment optimistes quant au potentiel de l’IA générative pour augmenter la productivité, ont des préoccupations quant aux limites de cette technologie. Cinquante et un pour cent des PDG recrutent pour des postes liés à l’IA générative qui n’existaient pas jusqu’à cette année, selon un sondage d’IBM. Pourtant, seules 9% des entreprises affirment qu’elles sont prêtes à gérer les menaces, y compris celles liées à la vie privée et à la propriété intellectuelle, découlant de leur utilisation de l’IA générative, selon un sondage Riskonnect.
“La plateforme de WitnessAI intercepte l’activité entre les employés et les modèles d’IA générative personnalisés que leur employeur utilise et applique des politiques et des protections visant à atténuer les risques.”
WitnessAI vend l’accès à plusieurs modules, chacun axé sur une forme différente de risque lié à l’IA générative. L’un permet aux organisations d’établir des règles pour empêcher les employés de certaines équipes d’utiliser des outils alimentés par l’IA générative de manière interdite (par exemple, demander des informations sur les résultats financiers avant leur publication ou coller des bases de code internes). Un autre module occulte les informations propriétaires et sensibles des invites envoyées aux modèles et met en œuvre des techniques pour protéger les modèles contre les attaques qui pourraient les conduire à sortir de leur script.
“Nous pensons que la meilleure façon d’aider les entreprises est de définir le problème d’une manière qui a du sens – par exemple, l’adoption sécurisée de l’IA – et de vendre ensuite une solution qui aborde ce problème”, a déclaré Caccia. “Le CISO veut protéger l’entreprise, et WitnessAI les aide à le faire en assurant la protection des données, en prévenant l’injection d’invite et en appliquant des politiques basées sur l’identité. L’officier en charge de la confidentialité veut s’assurer que les règles existantes – et les futures – sont respectées, et nous leur donnons une visibilité et un moyen de rendre compte de l’activité et du risque”.
Malgré cela, la plateforme WitnessAI pose un problème de confidentialité: Toutes les données passent par sa plateforme avant d’atteindre un modèle. La compagnie est transparente à ce sujet, offrant même des outils pour surveiller quels modèles les employés accèdent, les questions qu’ils posent aux modèles et les réponses qu’ils obtiennent. Mais cela pourrait créer ses propres risques de confidentialité. En réponse aux questions sur la politique de confidentialité de WitnessAI, Caccia a déclaré que la plateforme est “isolée” et cryptée pour empêcher les secrets des clients de se répandre.
Peut-être que cela apaisera les craintes des clients. Quant aux travailleurs inquiets du potentiel de surveillance de la plateforme WitnessAI, c’est plus difficile. Les sondages montrent que les gens n’apprécient généralement pas d’avoir leur activité sur le lieu de travail surveillée, quelle qu’en soit la raison, et pensent que cela a un impact négatif sur le moral de l’entreprise. Près d’un tiers des personnes interrogées dans le cadre d’une enquête Forbes ont déclaré qu’elles pourraient envisager de quitter leur emploi si leur employeur surveillait leur activité en ligne et leurs communications. Mais Caccia affirme que l’intérêt pour la plateforme WitnessAI a été et reste fort, avec un pipeline de 25 utilisateurs d’entreprises au stade de la preuve de concept. (Elle ne sera généralement disponible qu’au 3e trimestre).
