Oscar Molnar a récemment réalisé une prouesse technique en assemblant un grand modèle de langage (LLM) directement dans son ordinateur personnel, pour un coût total d’environ 200 euros. Sa solution innovante consiste à intégrer une carte graphique Tesla V100, une pièce normalement réservée aux serveurs de datacenter, à son PC gaming. Grâce à cette modification, il élimine tout besoin d’envoyer des données sensibles sur le cloud, assurant ainsi la confidentialité et la sécurité de ses informations personnelles.
Le matériel supplémentaire offre à Molnar une mémoire vidéo (VRAM) totale de 32 Go, ce qui lui permet de faire tourner efficacement Qwen3.6, un modèle d’environ 27 milliards de paramètres compressé en 19 Go. Via le logiciel libre llama.cpp, il parvient à générer environ 32 tokens par seconde lors de la génération de texte et jusqu’à 150 lors du traitement immédiat d’une question. Ces performances, relativement impressionnantes pour un montage artisanal, rivalisent selon lui avec celles des modèles cloud récents, tout en réduisant considérablement les coûts d’utilisation à long terme.
Une fois le matériel payé, chaque requête ne coûte quasiment plus rien du tout, et aucune donnée ne quitte la machine.
La configuration du système reste en partie standard, avec une RTX 4080 et ses 16 Go de VRAM, complétée par la Tesla V100 branchée à l’aide d’un adaptateur économique. Cependant, un léger problème subsiste : la Tesla V100 disparaît parfois du système après un redémarrage à chaud, obligeant à éteindre complètement la machine pour la voir réapparaître, un bug de détection matérielle qui persiste malgré la performance globale du setup.
Pour résumer, cet assemblage bricolé à la maison démontre qu’il est aujourd’hui possible pour des passionnés de faire fonctionner des IA avancées sans dépendre des serveurs cloud, pour un investissement minime. Cela représente une avancée significative pour ceux qui cherchent plus de contrôle et de confidentialité sur leurs données, tout en bénéficiant de performances remarquables. La démarche de Molnar ouvre la voie à une nouvelle génération de bidouilleurs désireux de posséder leur propre intelligence artificielle, à moindre coût et sans concession sur la sécurité.
