“`html
Uptime Industries fait le pari d’une infrastructure IA sur site avec un dispositif portable appelé Lemony AI. De la taille d’un sandwich, Lemony AI peut prétendument exécuter un modèle de langage large (LLM), des agents IA et des flux de travail IA, le tout sur un seul nœud. Chaque appareil nécessite seulement 65 watts d’énergie pour fonctionner, soit l’équivalent de la charge d’un ordinateur portable, et peut être empilé et connecté pour former des clusters IA plus grands.
Sascha Buehrle, co-fondateur et PDG d’Uptime, a déclaré à TechCrunch que chaque nœud peut prendre en charge un LLM allant jusqu’à 75 milliards de paramètres et peut héberger des modèles open-source ou des versions modifiées de modèles fermés. Dans un cluster de nœuds Lemony, chaque dispositif peut exécuter un modèle différent. Uptime lance son produit avec des partenariats avec IBM et JetBrains pour offrir à ses clients un accès facilité à des modèles IA, y compris ceux d’IBM.
“Tout reste dans votre boîte,” a déclaré Buehrle, soulignant l’importance de la confidentialité des données.
Comme beaucoup de startups technologiques, l’idée de Lemony AI est née d’un projet secondaire : les co-fondateurs d’Uptime, Buehrle et Ivan Kuleshov, essayaient de déterminer s’ils pouvaient distribuer des modèles de langage sur des micro-ordinateurs Raspberry Pi. Bien que cela n’ait pas été à l’origine lié à l’IA générative, lorsque le projet a fonctionné, ils ont commencé à explorer d’autres possibilités. En réalisant que le fonctionnement de modèles sur des appareils locaux pourrait être la clé pour faciliter l’adoption de l’IA par des organisations, notamment celles qui ne souhaitent pas utiliser des modèles basés sur le cloud, ils ont commencé à construire leur propre dispositif. Ils ont pensé qu’un modèle réduit, axé sur la confidentialité des données, pourrait inciter les entreprises à adopter plus rapidement l’IA.
Uptime a jusqu’à présent levé 2 millions de dollars lors d’un tour de financement initial dirigé par True Ventures, avec la participation d’Alumni Ventures, JetBrains et plusieurs investisseurs privés. La startup prévoit d’utiliser ces fonds pour développer davantage ses dispositifs. Son objectif est désormais de faire fonctionner le logiciel qu’elle a développé pour ses micro-ordinateurs IA, Lemony OS, sur le matériel d’autres entreprises, comme le Nvidia DGX Spark, et de passer d’une utilisation centrée sur un seul utilisateur à une version collaborative pour les équipes.
Lemony AI coûte 499 $ par mois et peut être utilisé par jusqu’à cinq utilisateurs. Alors que la demande semble forte, notamment dans des secteurs hautement réglementés comme la finance, la santé et le droit, Uptime se positionne comme un acteur clé dans le domaine de l’IA locale en réponse à des préoccupations croissantes sur la sécurité et la confidentialité des données.
“`
