2x RTX 3090 avec vLLM en 2026 : Analyse des Performances et Stratégies de Cache KV

Comparaison de 2x RTX 3090 avec vLLM en 2026 : Performances, Tailles de Modèle et Optimisation du Cache KV

En 2026, la combinaison de deux NVIDIA RTX 3090 (48 Go de VRAM totale) avec vLLM reste l'une des configurations les plus efficaces et populaires pour l'auto-hébergement de grands modèles de langage (LLM). Grâce à l'architecture Ampere mature et aux logiciels optimisés, cette configuration offre un excellent rapport qualité-prix. Cet article examine les performances de traitement des tokens, la vitesse de décodage, les tailles de modèle réalisables, la mémoire du cache KV et l'importance cruciale de la quantification du cache KV – en particulier pour les tâches de programmation.

Traitement des Tokens et Vitesse de Décodage

Avec vLLM, la configuration 2x 3090 exploite le parallélisme de tenseurs (TP=2) pour répartir la charge de calcul. Les performances varient selon le modèle et le type de quantification, mais les vitesses typiques vont de 50 à plus de 100 tokens par seconde pour les modèles de la classe 27B–32B (par exemple, Qwen). Le débit sous requêtes concurrentes est maximisé par le batching continu, qui maintient les GPU constamment occupés. Le principal goulot d'étranglement est la bande passante mémoire (936 Go/s par 3090), car l'inférence est limitée par la mémoire. Dans les scénarios multi-utilisateurs, vLLM surpasse nettement les moteurs moins optimisés comme llama.cpp.

Tailles de Modèle et Quantification

Les 48 Go de VRAM permettent de charger des modèles qui ne tiendraient pas sur un seul GPU. Les modèles de 70B paramètres peuvent être exécutés avec une quantification 4 bits (AWQ/GPTQ), occupant environ 40–42 Go et laissant de la place pour le cache KV. La quantification des poids en 4 bits est standard pour préserver la qualité de sortie tout en libérant de la mémoire pour le cache.

Cache KV et sa Quantification

Le cache KV stocke les tokens passés pour éviter des recalculs coûteux. C'est le principal facteur limitant la longueur de la fenêtre de contexte. La quantification du cache KV (généralement en FP8) réduit l'utilisation mémoire de 50 % par rapport au FP16, doublant ainsi la longueur de contexte gérable (par exemple, de 130K à plus de 200K tokens).

Avertissement pour les Tâches de Programmation

Bien que la quantification du cache KV soit excellente pour les discussions générales ou les résumés, elle peut être risquée pour les tâches de programmation. La génération de code nécessite une précision extrême dans la gestion des dépendances syntaxiques et logiques à longue distance. Une quantification trop agressive peut entraîner des hallucinations syntaxiques ou des erreurs logiques dans le code généré, car la précision des valeurs stockées se dégrade. Pour les tâches de codage critiques, il est recommandé de conserver le cache KV en haute précision (BF16/FP16) si la VRAM le permet, ou d'utiliser des techniques de quantification adaptative.

Optimisation et Configuration

vLLM utilise PagedAttention, qui gère le cache KV en blocs non contigus, éliminant la fragmentation mémoire. Cela permet de gérer des contextes très longs. Pour maximiser les performances, définissez --gpu-memory-utilization entre 0,90 et 0,95 pour réserver la majeure partie de la VRAM au cache KV. Une surveillance est nécessaire pour éviter les erreurs de mémoire insuffisante lors des pics de requêtes.

Conclusion

La configuration 2x 3090 avec vLLM reste une solution extrêmement puissante en 2026. La clé du succès réside dans l'équilibre entre la quantification des poids (pour faire tenir le modèle) et une gestion prudente du cache KV (pour la longueur du contexte). Une attention particulière est nécessaire concernant la quantification du cache KV pour les tâches de programmation. Avec les bons réglages, cette configuration offre d'excellentes performances pour les LLM auto-hébergés.