LLM locaux sur matériel grand public : mémoire hiérarchisée et moteurs de streaming

Exécuter localement de grands modèles de langage était, jusqu'à récemment, un objectif inconcevable pour quiconque ne possédait pas une baie d'accélérateurs d'entreprise. La taille des modèles modernes, combinée à l'empreinte mémoire considérable de leurs fenêtres de contexte, rendait les GPU grand public désespérément inadéquats. Aujourd'hui, la situation évolue rapidement. Une nouvelle génération de moteurs d'exécution fait tomber les anciennes barrières en traitant la mémoire comme une hiérarchie plutôt que comme un réservoir unique, et en orchestrant le déplacement des données avec une précision remarquable.

Des grappes d'entreprise aux ordinateurs du quotidien

Pendant des années, la règle était simple : le modèle devait tenir dans la mémoire vidéo de la carte graphique, sinon il ne fonctionnait pas du tout. Cette contrainte excluait presque tous les modèles intéressants du matériel grand public. Le changement auquel nous assistons vient de la prise de conscience que toutes les parties d'un modèle n'ont pas besoin de résider en même temps dans la mémoire la plus rapide. Les mélangeurs d'attention, les couches actives et les caches chauds doivent rester sur le GPU, mais l'essentiel des poids, les tables d'incorporation et la longue traîne d'experts rarement utilisés peuvent vivre ailleurs et être récupérés à la demande.

L'architecture mémoire à trois niveaux

Les moteurs modernes répartissent le modèle entre trois classes de stockage : la VRAM du GPU, la RAM système et le disque SSD NVMe. Chaque niveau présente un profil de latence et de bande passante différent, et le moteur décide de ce qui va où. Pendant la phase de préremplissage, où l'invite est traitée, et pendant la phase de décodage, où les jetons sont générés un par un, l'ordonnanceur active une stratégie intelligente qui précharge les bons blocs au bon moment. Il en résulte une vitesse de préremplissage et de décodage qui reste élevée même lorsque le modèle dépasse largement la mémoire de la carte.

Cette disposition n'est pas un simple fichier d'échange. Un schéma de déchargement naïf bloquerait le GPU chaque fois qu'un poids est demandé au disque. Le moteur, lui, prévoit quels blocs seront nécessaires et les déplace à l'avance, dissimulant la latence de transfert derrière un calcul utile.

Strata et le modèle Qwen3.8-Flash-Next

L'une des solutions récentes les plus intéressantes est un moteur nommé Strata, disponible en ligne, qui se concentre sur un modèle précis, Qwen3.8-Flash-Next. Il s'agit d'une architecture Mixture of Experts comptant des milliards de paramètres, des experts à routage clairsemé, des couches de prédiction multi-jetons et de vastes tables d'incorporation N-gram. Strata coordonne ces composants selon une disposition d'exécution structurée : les poids chauds et les mécanismes d'attention restent sur le comptoir du GPU, le dictionnaire de poids MoE plus large est épinglé dans le garde-manger de la RAM, le disque NVMe sert de cave pour les énormes tables de consultation, et la prédiction multi-jetons est utilisée pour accroître la vitesse de génération. Le résultat concret est qu'un modèle de plusieurs milliards de paramètres peut tourner sur une carte grand public dotée de 16 Go de VRAM et d'une bonne quantité de mémoire système, en offrant un nombre utilisable de jetons par seconde.

Streaming adaptatif du cache KV

La seconde avancée majeure concerne le cache Key-Value. À mesure que les fenêtres de contexte s'étendent vers 128K et 256K jetons, le cache KV peut consommer plus de mémoire que les poids du modèle eux-mêmes. Avec la gestion unifiée standard de la mémoire, cela entraîne une grave sursouscription et un effondrement des performances. Le streaming adaptatif à granularité de bloc résout le problème en conservant les tenseurs KV faisant autorité dans la mémoire hôte épinglée tout en gérant un tampon circulaire CUDA borné sur le GPU. Les pages de cache sont préchargées et évincées en temps réel, de sorte que la latence de transfert est dissimulée derrière le calcul. Les utilisateurs de cartes de 16 Go peuvent donc maintenir des vitesses de décodage stables et exploiter toute la longueur de contexte native sans pagination catastrophique.

Vers quoi nous nous dirigeons

D'autres moteurs suivent la même philosophie. LM Cache et vLLM mettent en œuvre des idées apparentées de mise en cache et d'ordonnancement, et le fork de llama.cpp avec streaming KV adaptatif montre jusqu'où un projet communautaire peut repousser les limites. La direction est claire : grâce à la hiérarchisation du matériel, à la quantification avancée et aux moteurs de streaming intelligents, l'exécution locale de l'IA devient plus viable, plus efficace et plus accessible sur les ordinateurs grand public du quotidien. L'écart entre ce qu'un centre de données peut exécuter et ce qu'un ordinateur de bureau peut exécuter se réduit, et les outils qui rendent cela possible sont ouverts à quiconque souhaite les étudier et les améliorer.