Exécuter localement des modèles MoE de pointe pour le code sur du matériel grand public
En novembre 2026, le prix de la mémoire et des GPU a explosé. Acheter du matériel de classe datacenter uniquement pour exécuter localement un bon modèle de code n'est plus à la portée de la plupart des développeurs indépendants et des petites équipes. La bonne nouvelle, c'est que ce n'est plus nécessaire. Les modèles Mixture-of-Experts (MoE), associés à un moteur d'inférence hybride, permettent de faire tourner de véritables assistants de code sur des cartes grand public, avec la mémoire que vous possédez déjà.
Pourquoi les modèles MoE changent l'équation économique
Un modèle dense doit lire chaque paramètre pour chaque token : l'intégralité du fichier de poids doit donc être accessible à haut débit. Un modèle MoE n'active qu'une petite fraction de ses experts par token. Le routeur en sélectionne une poignée, les autres restent inactifs. Ce seul détail d'architecture rend le stockage hiérarchisé viable : les experts chauds restent en VRAM, les experts tièdes en mémoire système et les experts froids sur un SSD NVMe, chargés uniquement lorsque le routeur les demande. Le moteur masque la latence grâce au préchargement et aux transferts asynchrones, si bien que la génération reste fluide même lorsqu'un expert doit remonter du disque.
Le moteur hybride : déport de mémoire par niveaux
Des moteurs comme Strata, Colibri et kTransformers appliquent la même idée. Ils profilent votre machine, puis construisent un plan de placement : le cache KV et les experts les plus souvent routés restent résidents sur le GPU, le modèle draft utilisé pour le décodage spéculatif se place à côté, la majorité des experts restants part en RAM et tout le reste est mappé en mémoire depuis le SSD. Comme le plan est calculé pour chaque machine, le même modèle peut tourner sur une carte de 24 Go, sur une paire de 48 Go ou sur une machine à mémoire unifiée, sans réglage manuel.
| Niveau | Contenu | Raison |
|---|---|---|
| VRAM (GPU) | Cache KV, experts chauds, modèle draft | Bande passante maximale, décodage rapide |
| Mémoire système | Experts tièdes et poids restants | Grande capacité, débit modéré |
| SSD NVMe | Experts froids, mappés en mémoire | Capacité économique, pagination à la demande |
Une configuration de référence à base de matériel de 2020
Deux RTX 3090 offrent 48 Go de VRAM. Ajoutez 128 Go de DDR4 à environ 100 Go/s et un SSD NVMe Gen4 à environ 8 Go/s, et vous obtenez une machine capable de gérer des modèles bien plus volumineux que sa VRAM. C'est du matériel de 2020, et il donne toujours de bons résultats. Le point n'est pas que les vieux composants soient magiques : le moteur a simplement besoin d'assez de mémoire rapide pour le chemin chaud et d'assez de mémoire totale pour tout le reste.
| Composant | Spécification | Rôle |
|---|---|---|
| GPU | 2 x RTX 3090, 48 Go de VRAM | Cache KV, experts chauds, modèle draft |
| RAM | 128 Go DDR4, ~100 Go/s | Experts tièdes, poids en débordement |
| Stockage | NVMe Gen4, ~8 Go/s | Experts froids, mappés en mémoire |
Premier modèle à essayer : Qwen 3.8 Flash Next
Le premier modèle qui vaut la peine d'être essayé est Qwen 3.8 Flash Next. Avec la quantification IQ3_S d'ISTA-DASLab, l'empreinte tombe à environ 50 Go, ce qui signifie que presque tout tient entre la VRAM et la RAM. La perte de qualité reste faible : sur les benchmarks textuels, la perplexité n'augmente que marginalement par rapport au modèle de base, et le comportement en code reste proche de l'original. On atteint des milliers de tokens en préremplissage et plus de 100 tokens par seconde en décodage. Le serveur expose une API compatible OpenAI, donc n'importe quel banc de test, CLI ou extension d'IDE peut s'y connecter sans modification.
Second modèle : DeepSeek V4.1 Flash 1017
La seconde approche est plus lente, mais elle fonctionne. DeepSeek V4.1 Flash 1017 peut être quantifié à environ 2,25 bits par poids, ce qui ramène le téléchargement à environ 275 Go. Une partie est chargée en VRAM, le reste se répartit entre la RAM et le SSD. Comptez environ 3 pour cent d'augmentation de la perplexité sur le code par rapport au modèle de base, un compromis très raisonnable. Utilisez une quantification int8 pour le cache KV afin de garder la fenêtre de contexte abordable en mémoire.
| Modèle | Quantification | Empreinte | Remarques |
|---|---|---|---|
| Qwen 3.8 Flash Next | IQ3_S (ISTA-DASLab) | ~50 Go | Rapide, plus de 100 tok/s en décodage, API compatible OpenAI |
| DeepSeek V4.1 Flash 1017 | ~2,25 bpw, cache KV int8 | ~275 Go | Plus lent, ~3 % de perplexité en plus sur le code |
Les alternatives à mémoire unifiée
La même recette fonctionne sur du matériel à mémoire unifiée. Strix Halo, Apple Silicon et les machines Spark basées sur GB10 partagent un seul grand pool entre CPU et GPU, ce qui supprime la séparation entre VRAM et RAM et simplifie le placement. La bande passante par octet est inférieure à celle d'un GPU discret, donc le préremplissage est plus lent, mais le gain en capacité est réel et l'installation bien plus simple.
Ce que vous obtenez pour votre argent
Une station de travail capable d'exécuter ces modèles à pleine vitesse demande encore un investissement supérieur à 100 k. Avec du matériel de 2020 et une dépense d'environ 2 k, vous obtenez à la place une solution qui fonctionne. En pratique, vous atteignez 80 à 90 pour cent de l'intelligence des modèles de pointe, servie à un rythme personnel : pas un remplacement de datacenter, mais un compagnon solide pour les développeurs indépendants et les petites entreprises. Entre 2 k et 5 k se trouve aujourd'hui le bon compromis.
Liste de vérification pratique
Installez une version récente du moteur, laissez-le profiler la machine et acceptez le plan de placement généré. Gardez le cache KV quantifié en int8, épinglez le modèle draft sur le GPU et assurez-vous que le SSD dispose de suffisamment d'espace libre pour les experts froids. Les cartes NVIDIA des séries 30, 40 et 50 sont prises en charge sous Windows comme sous Linux. Commencez par le petit modèle, mesurez les tokens par seconde, puis montez en gamme seulement si les chiffres tiennent.
Travaillons ensemble
Vous avez besoin de plus d'informations, d'aide pour votre projet ou pour développer une idée?
Qu'il s'agisse d'une question simple, d'un doute rapide ou d'une discussion de 5 minutes, envoyez-moi un message—cela ne coûte rien et je suis toujours prêt à vous aider. J'aime comprendre un problème, être créatif dans les solutions et me concentrer sur des idées simples, fiables et faciles à réaliser rapidement.
Me contacter →