Quelques semaines seulement après que le fabricant de puces Tenstorrent ait levé près de 700 millions de dollars de financement, les développeurs peuvent maintenant essayer les accélérateurs AI de Tenstorrent sur Koyeb. Tenstorrent vend des processeurs IA construits autour de l’architecture d’instruction RISC-V et a développé sa propre bibliothèque de réseau neuronal open source, TT-NN, et son propre modèle de programmation de bas niveau open source, TT-Metalium. Tenstorrent fait partie d’un groupe d’entreprises qui cherchent à construire des alternatives aux GPU Nvidia et à la bibliothèque CUDA de la société. Il est en concurrence avec Axelera, Etched, Groq et d’autres.
Koyeb, fondé par d’anciens dirigeants de Scaleway, se concentre sur le développement d’une plateforme cloud sans serveur pour les développeurs à la recherche d’une couche d’abstraction au niveau de l’infrastructure cloud. Il est en concurrence avec Fly.io, Railway et Render. Koyeb permet aux développeurs de déployer des applications sur plusieurs machines virtuelles en utilisant une interface de ligne de commande ou un git push après l’intégration avec le dépôt de code. Il prend en charge les conteneurs Docker et de nombreux langages populaires.
“L’une des principales caractéristiques de Koyeb est qu’il peut automatiquement mettre à l’échelle une application à des centaines de serveurs si nécessaire, et lorsque le trafic est moindre, il peut automatiquement réduire l’infrastructure du serveur. Ces derniers mois, Koyeb s’est spécifiquement concentré sur les applications AI. Grâce à la nature sans serveur de sa plateforme, il peut offrir une expérience à faible latence pour les charges de travail AI.”
Sur le front matériel, Koyeb a déployé les cartes PCIe de Tenstorrent dans ses centres de données. Les développeurs peuvent accéder au SDK TT-Metalium de bas niveau de Tenstorrent pour écrire des programmes hôte et noyau. Les développeurs trouveront deux nouveaux types d’instances dans la documentation et les panneaux d’administration de Koyeb: L’instance TT-N300S dispose de 24 Go de mémoire GDDR6, 192 Mo de SRAM et offre jusqu’à 466 FP8 TFLOPS. Il est couplé à 64 Go de RAM et à 4 vCPUs. L’instance TT-Loudbox dispose de quatre N300S. Les développeurs obtiennent 96 Go de GDDR6, 768 Mo de SRAM et jusqu’à 1 864 FP8 TFLOPS. Il dispose de 256 Go de RAM et de 16 vCPUs.
Avec cette sortie, Koyeb cherche à se positionner comme une plateforme cloud agnostique en matière de matériel. “Cela nous rappelle les débuts d’ARM sur le marché des serveurs avec des puces haute performance”, a déclaré à TechCrunch Yann Leger, co-fondateur et CEO de Koyeb. “Depuis que nous avons introduit ARM sur le marché avec Scaleway à l’époque, en proposant des serveurs entièrement personnalisés en 2013-2014, nous avons l’expérience de déployer diverses architectures et de gérer divers matériels”, a-t-il ajouté. Quant à Tenstorrent, le fabricant de puces AI est à la recherche de partenaires pour construire un écosystème de développeurs autour de son modèle de programmation open source. Il faudra tout un village pour offrir une alternative à la stack AI de Nvidia.
