La meilleure configuration d'IA locale grand public de septembre 2026 : deux RTX 3090 ou 4090 avec Qwen 3.8 27B à 3,5 bpw

Septembre 2026 marque un moment remarquable pour l'intelligence artificielle locale. Une station de travail grand public construite autour de deux cartes RTX 3090, ou de deux RTX 4090, peut désormais exécuter un modèle de 27 milliards de paramètres avec une fenêtre de contexte de 256k tokens entièrement hors ligne. L'élément décisif est la publication Qwen 3.8 27B GSQ-RCO GGUF, un point de contrôle quantifié qui atteint 3,5 bits par poids tout en égalant la précision du modèle de base d'origine. Cet article détaille les choix matériels, la science de la quantification qui sous-tend GSQ et RCO, ainsi que la configuration exacte de llama.cpp nécessaire pour reproduire ce résultat chez soi.

Pourquoi deux RTX 3090 restent le choix le plus judicieux

Les RTX 3090 et RTX 4090 disposent toutes deux de 24 Go de VRAM, et c'est cette capacité, et non la puissance de calcul brute, qui limite l'inférence locale. Deux cartes offrent 48 Go de mémoire exploitable, le point d'équilibre idéal pour un modèle de 27B accompagné d'un très grand cache clé-valeur. La 4090 est environ deux fois plus rapide en génération de tokens et nettement plus véloce lors du traitement du prompt, mais son coût par gigaoctet est bien supérieur. Pour la plupart des passionnés, une paire de 3090 d'occasion offre le meilleur compromis entre prix, mémoire et fiabilité. Si votre budget le permet, associer une 4090 et une 3090 fonctionne également, même si la carte la plus lente impose son rythme aux charges de travail en parallélisme tensoriel. Quelle que soit la paire retenue, vérifiez que l'alimentation délivre au moins 850 watts et que la carte mère expose deux emplacements PCIe x16 correctement ventilés.

GSQ et RCO : comment 3,5 bits égalent le modèle de base

Le point de contrôle Qwen 3.8 27B GSQ-RCO GGUF provient du Distributed Algorithms and Systems Lab et combine deux techniques complémentaires. La Gumbel-Softmax Quantization (GSQ) est une méthode de quantification scalaire post-entraînement qui apprend conjointement les affectations de grille par coordonnée et les échelles par groupe via une relaxation de Gumbel-Softmax. Au lieu d'arrondir chaque poids sur la même grille, GSQ recherche la meilleure affectation pour chaque coordonnée, ce qui comble l'essentiel de l'écart entre quantification scalaire et vectorielle à deux ou trois bits tout en restant déployable dans des formats scalaires standard tels que GGUF. La Riemannian Constrained Optimization (RCO) attribue ensuite l'un des K types de quantification à chacun des N tenseurs sous un budget de taille total. La contrainte budgétaire est reformulée comme une variété riemannienne lisse dans l'espace des logits, ce qui autorise une optimisation par gradient directement sur la perte de tâche tout en appliquant le budget de manière exacte, sans réglage d'hyperparamètres spécifiques à la contrainte.

La conséquence pratique apparaît clairement dans la courbe publiée de la moyenne des tâches en fonction de la largeur moyenne en bits : à 3,5 bpw, la version GSQ-RCO suit de près le modèle de base non quantifié et surpasse nettement les quantifications dynamiques Unsloth à trois bits pour un encombrement identique. La perplexité reste faible et les benchmarks de raisonnement, de programmation et multilingues demeurent stables.

Cache KV, précision Q8 et contexte complet de 256k

Une fenêtre de contexte de 256k consomme énormément de mémoire, mais 48 Go suffisent lorsque les poids sont réduits. À 3,5 bpw, le modèle occupe environ 12 à 14 Go, laissant plus de 30 Go pour les activations et le cache KV. Quantifier le cache en Q8 préserve la cohérence du raisonnement sur de longues séquences tout en divisant son encombrement par deux par rapport au FP16. Pour atteindre les 262 144 tokens complets, vous devez répartir le modèle sur les deux GPU grâce au parallélisme tensoriel et décharger chaque couche, cache compris, sur les GPU. Si la VRAM vient à manquer, réduisez le cache en Q4_0 en dernier recours, mais attendez-vous à une perte de cohérence mesurable au-delà de 100k tokens.

Héberger en local avec llama.cpp

Les points de contrôle GSQ-RCO étant des fichiers GGUF ordinaires, aucun fork personnalisé n'est nécessaire. Téléchargez la dernière version de llama.cpp, récupérez le modèle quantifié via le lien ci-dessous, puis lancez le serveur avec la répartition tensorielle, le déchargement complet sur GPU et un cache Q8. Fixez la longueur de contexte à 262144 et activez le flash attention. Si votre version prend en charge la prédiction multi-token, activez-la : elle peut augmenter sensiblement le débit de génération sur les systèmes bi-GPU. Surveillez la VRAM lors du premier chargement ; si l'allocation échoue, vérifiez que le cache est bien quantifié et qu'aucun autre processus n'occupe la mémoire.

Notes de réglage pratiques

Pour une fidélité maximale, la version Unsloth UD Q4 reste une alternative solide, mais sa perplexité est plus élevée que celle de la publication GSQ-RCO à 3,5 bpw ; cette dernière constitue donc le meilleur choix par défaut lorsque vous recherchez le contexte le plus large au moindre coût mémoire. Maintenez vos pilotes à jour, placez le processus en mode performance et surveillez les températures, car deux 3090 en charge continue dégagent une chaleur considérable. Avec un réglage soigné, cette configuration offre une inférence de qualité quasi datacenter depuis un simple bureau.