2026-11-05 · 5 min de lecture

Qwen3.8-Flash-Next et DeepSeek-V4.1-Flash-1017 : les GGUF Unsloth Dynamic V3.1 face à GSQ-RCO

Qwen3.8-Flash-Next et DeepSeek-V4.1-Flash-1017 : les GGUF Unsloth Dynamic V3.1 contre la quantification GSQ-RCO

Le paysage de l'inférence locale s'est transformé en une véritable guerre de la quantification. Unsloth a publié des versions GGUF Dynamic V3.1 pour deux familles Mixture-of-Experts de pointe — Qwen3.8-Flash-Next et DeepSeek-V4.1-Flash-1017 — en les plaçant directement face aux quantifications GSQ-RCO publiées par ISTA-DASLab. L'affirmation est audacieuse : environ 15 pour cent de précision en plus que les autres quantifications de pointe à taille de fichier comparable, avec les meilleurs scores sur Terminal Bench et DeepSWE. Cet article explique ce qui a changé dans le quantificateur, comment les chiffres ont été mesurés et comment exécuter ces modèles sur une seule station de travail.

Pourquoi Dynamic V3.1 surpasse la quantification uniforme

La quantification post-entraînement classique applique une recette unique à chaque tenseur du réseau. L'approche est rapide et prévisible, mais elle traite une porte de routage exactement comme un expert redondant, et c'est précisément là que la précision se perd. Unsloth Dynamic V3.1 s'appuie plutôt sur des données de calibration imatrix variées et de haute qualité, sur une sélection intelligente des couches et sur des schémas de quantification personnalisés par couche, conçus pour les architectures Mixture-of-Experts et hybrides. Les couches critiques conservent davantage de bits, tandis que les experts dupliqués sont compressés plus fortement. Le résultat est un meilleur profil de divergence KL et une fidélité fonctionnelle préservée même avec des réglages à très faible nombre de bits.

C'est la répartition sur les benchmarks qui rend l'argument concret. Sur Terminal Bench 2.1, DeepSWE v1.1, Aider Polyglot, LiveCodeBench v6 et GPQA Diamond, Dynamic V3.1 se place en tête de sa classe de taille. L'évaluation couvre environ 26 à 30 milliards de tokens, et l'équipe conteste également les affirmations des concurrents sur les taux de récupération d'AIME25. Dans les boucles agentiques — appels d'outils multi-tours, exécution de commandes shell, génération de correctifs — l'écart se creuse encore, car ces charges de travail punissent la moindre dérive du raisonnement.

DeepSeek-V4.1-Flash-1017 en pratique

Pour DeepSeek-V4.1-Flash-1017, les fichiers Dynamic V3.1 gardent les experts routés précis tout en réduisant les énormes banques d'embeddings n-gram qui dominent le nombre de paramètres. Cet équilibre compte : les tables d'embeddings sont lues en permanence mais tolèrent une précision plus grossière, alors que les experts activés pour un token donné ont besoin de chaque bit disponible. Lors des essais côte à côte, la version Dynamic conserve sa précision sur la récupération en contexte long et l'usage multi-étapes des outils, tandis que la variante GSQ-RCO commence à faiblir dès que le contexte s'allonge et que l'agent doit enchaîner plusieurs appels.

Graphique des benchmarks comparant Unsloth Dynamic V3.1 à la quantification GSQ-RCORésultats des benchmarks de programmation pour les quantifications de DeepSeek-V4.1-Flash-1017

Qwen3.8-Flash-Next et les tâches de programmation

Qwen3.8-Flash-Next, un MoE de 125 milliards de paramètres, constitue la seconde grande publication. Comparée à la version GSQ-RCO orientée code, la variante Unsloth Dynamic 3.1 semble supérieure sur les tâches de programmation : elle produit moins de correctifs défectueux, respecte plus fidèlement les conventions du dépôt et se rétablit plus vite après un test échoué. La différence n'est pas énorme sur une invite unique, mais elle s'accumule au fil d'une longue session agentique, ce qui correspond exactement au scénario de déploiement de ces modèles.

Récapitulatif final des benchmarks pour Qwen3.8-Flash-Next et DeepSeek-V4.1-Flash-1017

Servir des modèles MoE depuis la VRAM, la RAM et le SSD

Exécuter localement un modèle de 125 milliards de paramètres exigeait autrefois du matériel de centre de données. Les moteurs d'inférence modernes changent la donne grâce à une stratégie de mémoire hiérarchisée. Les experts routés actifs, les poids d'attention et le cache KV sont épinglés dans la VRAM, là où la latence est la plus faible. La commutation d'engrammes et le mappage mémoire sur SSD hébergent les autres pools de paramètres, notamment les immenses banques d'embeddings n-gram. La commutation de précision des engrammes prend en charge des formats tels que BF16, Q8_0, Q5_1 et IQ4_NL, et les têtes de prédiction multi-tokens ajoutent le décodage spéculatif. Ensemble, ces techniques permettent à une station de travail dotée de 32 à 128 Go de RAM ou de mémoire unifiée d'exécuter des agents locaux à grande échelle sans dégradation importante de la précision.

Dynamic V3.1 face à GSQ-RCO en un coup d'œil

Comparaison des quantifications pour Qwen3.8-Flash-Next et DeepSeek-V4.1-Flash-1017.
CritèreUnsloth Dynamic V3.1GSQ-RCO
Précision face aux quantifications de pointe+10–15 %Référence
Terminal Bench 2.1 / DeepSWE v1.1En tête de sa classePlus faible
Données de calibrationImatrix variées, sélection multicoucheRecette uniforme
Gestion MoE et hybrideSchémas par coucheGénérique
Divergence KLPlus faiblePlus élevée
Comportement en faible précisionFidélité préservéeDérive visible
Niveaux de mémoireVRAM + RAM + SSDVRAM + RAM
← Faites défiler vers la droite pour en voir plus →

Choisir le bon fichier

Partez de la mémoire disponible, pas du tableau des benchmarks. Avec 32 Go de mémoire unifiée, choisissez un fichier Dynamic V3.1 à précision intermédiaire et gardez un cache KV réduit ; avec 128 Go, les variantes à plus grand nombre de bits, associées au déport sur SSD, offrent un comportement quasi sans perte. Quel que soit votre choix, validez-le avec votre propre suite de tâches : des boucles agentiques de type Terminal Bench et une courte exécution avec Aider suffisent généralement à révéler si une quantification convient à votre charge de travail.

Travaillons ensemble

Vous avez besoin de plus d'informations, d'aide pour votre projet ou pour développer une idée?

Qu'il s'agisse d'une question simple, d'un doute rapide ou d'une discussion de 5 minutes, envoyez-moi un message—cela ne coûte rien et je suis toujours prêt à vous aider. J'aime comprendre un problème, être créatif dans les solutions et me concentrer sur des idées simples, fiables et faciles à réaliser rapidement.

Me contacter →

Changer de sujet

Choisissez un sujet spécialisé à explorer: