Il est une vérité universelle de la nature humaine: les développeurs qui construisent le code ne devraient pas être ceux qui le testent. Tout d’abord, la plupart d’entre eux détestent assez cette tâche. Deuxièmement, comme tout bon protocole d’audit, ceux qui font le travail ne devraient pas être ceux qui le vérifient. Sans surprise, donc, les tests de code sous toutes ses formes – tests d’utilisabilité, tests spécifiques à la langue ou à la tâche, tests de bout en bout – ont été le centre d’intérêt d’un grand nombre de startups en IA générative. Chaque semaine, TechCrunch met en lumière une autre startup comme Antithesis (qui a levé 47 millions de dollars), CodiumAI (qui a levé 11 millions de dollars) et QA Wolf (qui a levé 20 millions de dollars). Et de nouvelles startups émergent constamment, comme la nouvelle diplômée de Y Combinator, Momentic.
Une autre entreprise à figurer dans cette liste est la startup Nova AI, diplômée de l’accélérateur Unusual Academy, qui a levé un tour préliminaire de 1 million de dollars. Elle cherche à surpasser ses concurrents avec ses outils de test de bout en bout en rompant bon nombre des règles de la Silicon Valley sur la façon dont les startups devraient fonctionner, déclare Zach Smith, fondateur et PDG de Nova AI à TechCrunch. Alors que l’approche standard de Y Combinator est de commencer petit, Nova AI vise les entreprises de taille moyenne à grande avec des bases de code complexes et un besoin pressant. Smith a refusé de nommer les clients qui utilisent ou testent son produit, se contentant de les décrire comme des startups majoritairement en phase finale (série C ou au-delà) soutenues par des investisseurs en capital-risque dans le commerce électronique, la fintech ou les produits de consommation, et ayant une “expérience utilisateur intense”. Pour ces entreprises, la moindre panne de ces fonctionnalités est coûteuse.
“Nova AI se repose principalement sur des modèles open source comme Llama développé par Meta et StarCoder (de la communauté BigCoder, qui a été développé par ServiceNow et Hugging Face) tout en développant ses propres modèles.”
La technologie de Nova AI passe en revue le code de ses clients pour construire automatiquement des tests en utilisant GenAI. Elle est particulièrement adaptée aux environnements d’intégration continue et de déploiement continu (CI/CD) où les ingénieurs intègrent constamment des éléments dans leur code de production. L’idée de Nova AI est née de l’expérience de Smith et de Jeffrey Shih, son co-fondateur, lorsqu’ils étaient ingénieurs pour de grandes entreprises de technologie. Smith est un ancien employé de Google qui a travaillé au sein d’équipes liées au cloud aidant les clients à utiliser beaucoup de technologie d’automatisation. Shih a travaillé chez Meta (ainsi qu’à Unity et Microsoft avant cela) avec une rare spécialité en IA impliquant des données synthétiques. Ils ont depuis ajouté un troisième co-fondateur, le data scientist en IA Henry Li.
Une autre règle que Nova AI ne suit pas : Alors qu’une multitude de startups en IA sont construites sur la base du GPT de premier plan de l’industrie d’OpenAI, Nova AI utilise le chat GPT-4 d’OpenAI le moins possible. Aucune donnée client n’est envoyée à OpenAI. Alors qu’OpenAI promet que les données de ceux qui ont un plan d’affaires payant ne sont pas utilisées pour former ses modèles, les entreprises ne font toujours pas confiance à OpenAI, nous dit Smith. “Quand nous parlons à de grandes entreprises, elles nous disent : ‘Nous ne voulons pas que nos données aillent chez OpenAI'”, a déclaré Smith.
Les équipes d’ingénieurs de grandes entreprises ne sont pas les seules à ressentir cela. OpenAI fait face à un certain nombre de poursuites de la part de ceux qui ne veulent pas qu’il utilise leur travail pour la formation de modèles, ou qui pensent que leur travail a fini, sans autorisation et sans être payé, dans ses productions. Nova AI s’appuie principalement sur des modèles open source comme Llama, développé par Meta, et StarCoder (de la communauté BigCoder, qui a été développé par ServiceNow et Hugging Face), tout en développant ses propres modèles. Ils n’utilisent pas encore Gemma de Google avec leurs clients, mais l’ont testée et “ont obtenu de bons résultats”, nous dit Smith. Par exemple, il explique qu’OpenAI offre des modèles pour les incrustations vectorielles. Ces incrustations vectorielles traduisent des blocs de texte en chiffres afin que LLM puisse effectuer diverses opérations, telles que le regroupement avec d’autres blocs de texte similaires. Nova AI n’utilise pas les incrustations d’OpenAI et utilise à la place l’open source pour cela sur le code source du client. Elle utilise les outils OpenAI uniquement pour l’aider à générer du code et à effectuer certaines tâches d’étiquetage, et fait tout son possible pour ne pas envoyer de données client à OpenAI. “Dans ce cas, au lieu d’utiliser les modèles d’incrustation d’OpenAI, nous déployons nos propres modèles d’incrustation open source, de sorte que lorsque nous devons parcourir chaque fichier, nous ne l’envoyons pas simplement à OpenAI”, a expliqué Smith.
Si le fait de ne pas envoyer les données des clients à OpenAI apaise les entreprises nerveuses, les modèles d’IA en open source sont également moins chers et plus que suffisants pour effectuer des tâches spécifiques ciblées, a découvert Smith. Dans ce cas, ils fonctionnent bien pour l’écriture de tests. “L’industrie des LLM open source prouve vraiment qu’ils peuvent battre le GPT 4 et ces grands fournisseurs de domaines, lorsque vous vous spécialisez vraiment”, a-t-il déclaré. “Nous n’avons pas besoin de fournir un modèle massif qui peut vous dire ce que votre grand-mère veut pour son anniversaire, n’est-ce pas ? Nous devons écrire un test. Et c’est tout. Nos modèles sont donc spécifiquement affinés pour cela.” Les modèles open source évoluent également rapidement. Par exemple, Meta a récemment introduit une nouvelle version de Llama qui reçoit des éloges dans les cercles technologiques et qui pourrait convaincre d’autres startups en IA de se tourner vers les alternatives à OpenAI.
