2026-11-02 · 6 min de lecture

Exécuter localement des modèles MoE de pointe pour le code sur du matériel grand public

En novembre 2026, le prix de la mémoire et des GPU a explosé. Acheter du matériel de classe datacenter uniquement pour exécuter localement un bon modèle de code n'est plus à la portée de la plupart des développeurs indépendants et des petites équipes. La bonne nouvelle, c'est que ce n'est plus nécessaire. Les modèles Mixture-of-Experts (MoE), associés à un moteur d'inférence hybride, permettent de faire tourner de véritables assistants de code sur des cartes grand public, avec la mémoire que vous possédez déjà.

Pourquoi les modèles MoE changent l'équation économique

Un modèle dense doit lire chaque paramètre pour chaque token : l'intégralité du fichier de poids doit donc être accessible à haut débit. Un modèle MoE n'active qu'une petite fraction de ses experts par token. Le routeur en sélectionne une poignée, les autres restent inactifs. Ce seul détail d'architecture rend le stockage hiérarchisé viable : les experts chauds restent en VRAM, les experts tièdes en mémoire système et les experts froids sur un SSD NVMe, chargés uniquement lorsque le routeur les demande. Le moteur masque la latence grâce au préchargement et aux transferts asynchrones, si bien que la génération reste fluide même lorsqu'un expert doit remonter du disque.

Le moteur hybride : déport de mémoire par niveaux

Des moteurs comme Strata, Colibri et kTransformers appliquent la même idée. Ils profilent votre machine, puis construisent un plan de placement : le cache KV et les experts les plus souvent routés restent résidents sur le GPU, le modèle draft utilisé pour le décodage spéculatif se place à côté, la majorité des experts restants part en RAM et tout le reste est mappé en mémoire depuis le SSD. Comme le plan est calculé pour chaque machine, le même modèle peut tourner sur une carte de 24 Go, sur une paire de 48 Go ou sur une machine à mémoire unifiée, sans réglage manuel.

Où réside chaque partie du modèle
NiveauContenuRaison
VRAM (GPU)Cache KV, experts chauds, modèle draftBande passante maximale, décodage rapide
Mémoire systèmeExperts tièdes et poids restantsGrande capacité, débit modéré
SSD NVMeExperts froids, mappés en mémoireCapacité économique, pagination à la demande
← Faites défiler vers la droite pour en voir plus →

Une configuration de référence à base de matériel de 2020

Deux RTX 3090 offrent 48 Go de VRAM. Ajoutez 128 Go de DDR4 à environ 100 Go/s et un SSD NVMe Gen4 à environ 8 Go/s, et vous obtenez une machine capable de gérer des modèles bien plus volumineux que sa VRAM. C'est du matériel de 2020, et il donne toujours de bons résultats. Le point n'est pas que les vieux composants soient magiques : le moteur a simplement besoin d'assez de mémoire rapide pour le chemin chaud et d'assez de mémoire totale pour tout le reste.

Configuration de référence
ComposantSpécificationRôle
GPU2 x RTX 3090, 48 Go de VRAMCache KV, experts chauds, modèle draft
RAM128 Go DDR4, ~100 Go/sExperts tièdes, poids en débordement
StockageNVMe Gen4, ~8 Go/sExperts froids, mappés en mémoire
← Faites défiler vers la droite pour en voir plus →

Premier modèle à essayer : Qwen 3.8 Flash Next

Le premier modèle qui vaut la peine d'être essayé est Qwen 3.8 Flash Next. Avec la quantification IQ3_S d'ISTA-DASLab, l'empreinte tombe à environ 50 Go, ce qui signifie que presque tout tient entre la VRAM et la RAM. La perte de qualité reste faible : sur les benchmarks textuels, la perplexité n'augmente que marginalement par rapport au modèle de base, et le comportement en code reste proche de l'original. On atteint des milliers de tokens en préremplissage et plus de 100 tokens par seconde en décodage. Le serveur expose une API compatible OpenAI, donc n'importe quel banc de test, CLI ou extension d'IDE peut s'y connecter sans modification.

Second modèle : DeepSeek V4.1 Flash 1017

La seconde approche est plus lente, mais elle fonctionne. DeepSeek V4.1 Flash 1017 peut être quantifié à environ 2,25 bits par poids, ce qui ramène le téléchargement à environ 275 Go. Une partie est chargée en VRAM, le reste se répartit entre la RAM et le SSD. Comptez environ 3 pour cent d'augmentation de la perplexité sur le code par rapport au modèle de base, un compromis très raisonnable. Utilisez une quantification int8 pour le cache KV afin de garder la fenêtre de contexte abordable en mémoire.

Les deux modèles côte à côte
ModèleQuantificationEmpreinteRemarques
Qwen 3.8 Flash NextIQ3_S (ISTA-DASLab)~50 GoRapide, plus de 100 tok/s en décodage, API compatible OpenAI
DeepSeek V4.1 Flash 1017~2,25 bpw, cache KV int8~275 GoPlus lent, ~3 % de perplexité en plus sur le code
← Faites défiler vers la droite pour en voir plus →

Les alternatives à mémoire unifiée

La même recette fonctionne sur du matériel à mémoire unifiée. Strix Halo, Apple Silicon et les machines Spark basées sur GB10 partagent un seul grand pool entre CPU et GPU, ce qui supprime la séparation entre VRAM et RAM et simplifie le placement. La bande passante par octet est inférieure à celle d'un GPU discret, donc le préremplissage est plus lent, mais le gain en capacité est réel et l'installation bien plus simple.

Ce que vous obtenez pour votre argent

Une station de travail capable d'exécuter ces modèles à pleine vitesse demande encore un investissement supérieur à 100 k. Avec du matériel de 2020 et une dépense d'environ 2 k, vous obtenez à la place une solution qui fonctionne. En pratique, vous atteignez 80 à 90 pour cent de l'intelligence des modèles de pointe, servie à un rythme personnel : pas un remplacement de datacenter, mais un compagnon solide pour les développeurs indépendants et les petites entreprises. Entre 2 k et 5 k se trouve aujourd'hui le bon compromis.

Liste de vérification pratique

Installez une version récente du moteur, laissez-le profiler la machine et acceptez le plan de placement généré. Gardez le cache KV quantifié en int8, épinglez le modèle draft sur le GPU et assurez-vous que le SSD dispose de suffisamment d'espace libre pour les experts froids. Les cartes NVIDIA des séries 30, 40 et 50 sont prises en charge sous Windows comme sous Linux. Commencez par le petit modèle, mesurez les tokens par seconde, puis montez en gamme seulement si les chiffres tiennent.

Travaillons ensemble

Vous avez besoin de plus d'informations, d'aide pour votre projet ou pour développer une idée?

Qu'il s'agisse d'une question simple, d'un doute rapide ou d'une discussion de 5 minutes, envoyez-moi un message—cela ne coûte rien et je suis toujours prêt à vous aider. J'aime comprendre un problème, être créatif dans les solutions et me concentrer sur des idées simples, fiables et faciles à réaliser rapidement.

Me contacter →

Changer de sujet

Choisissez un sujet spécialisé à explorer: