LLM locali su hardware consumer: memoria a livelli ed engine di streaming

Far girare grandi modelli linguistici in locale era, fino a poco tempo fa, un obiettivo impensabile per chi non possedeva un rack di acceleratori enterprise. Le dimensioni dei modelli moderni, unite all'enorme impronta di memoria delle loro finestre di contesto, facevano sembrare le GPU consumer irrimediabilmente inadeguate. Oggi il quadro sta cambiando rapidamente. Una nuova generazione di engine di esecuzione sta abbattendo le vecchie barriere trattando la memoria come una gerarchia anziché come un unico serbatoio, e orchestrando il movimento dei dati con notevole precisione.

Dai cluster enterprise ai computer di tutti i giorni

Per anni la regola è stata semplice: il modello doveva entrare nella memoria video della scheda grafica, altrimenti non partiva affatto. Questo vincolo escludeva quasi tutti i modelli interessanti dall'hardware consumer. Il cambiamento a cui stiamo assistendo nasce dalla consapevolezza che non ogni parte di un modello deve risiedere contemporaneamente nella memoria più veloce. I mixer di attenzione, i layer attivi e le cache calde devono restare sulla GPU, ma la maggior parte dei pesi, le tabelle di embedding e la lunga coda di esperti usati di rado possono vivere altrove ed essere recuperati su richiesta.

L'architettura di memoria a tre livelli

Gli engine moderni dividono il modello tra tre classi di memoria: la VRAM della GPU, la RAM di sistema e l'unità a stato solido NVMe. Ogni livello ha un profilo diverso di latenza e larghezza di banda, e l'engine decide cosa collocare dove. Durante la fase di prefill, in cui viene elaborato il prompt, e durante la fase di decoding, in cui i token vengono generati uno alla volta, lo scheduler attiva una strategia intelligente che precarica i blocchi giusti al momento giusto. Il risultato è una velocità di prefill e di decoding che resta alta anche quando il modello è molto più grande della memoria della scheda.

Questa disposizione non è un semplice file di swap. Uno schema di offload ingenuo bloccherebbe la GPU ogni volta che serve un peso dal disco. L'engine, invece, prevede quali blocchi saranno necessari e li sposta in anticipo, nascondendo la latenza di trasferimento dietro un calcolo utile.

Strata e il modello Qwen3.8-Flash-Next

Una delle soluzioni recenti più interessanti è un engine chiamato Strata, disponibile online, che si concentra su un modello specifico, Qwen3.8-Flash-Next. Si tratta di un'architettura Mixture of Experts con miliardi di parametri, esperti instradati in modo sparso, layer di previsione multi-token e ampie tabelle di embedding N-gram. Strata coordina questi componenti in una disposizione di esecuzione strutturata: i pesi caldi e i meccanismi di attenzione restano sul banco della GPU, il dizionario più ampio dei pesi MoE è bloccato nella dispensa della RAM, l'unità NVMe funge da cantina per le enormi tabelle di consultazione, e la previsione multi-token viene usata per aumentare la velocità di generazione. Il risultato pratico è che un modello da molti miliardi di parametri può girare su una scheda consumer con 16 GB di VRAM e una buona quantità di memoria di sistema, offrendo un numero utilizzabile di token al secondo.

Streaming adattivo della cache KV

Il secondo grande progresso riguarda la cache Key-Value. Con l'espandersi delle finestre di contesto verso 128K e 256K token, la cache KV può consumare più memoria dei pesi stessi del modello. Con la gestione unificata standard della memoria questo porta a una grave sovrassegnazione e a un crollo delle prestazioni. Lo streaming adattivo a granularità di blocco risolve il problema mantenendo i tensori KV autorevoli nella memoria host bloccata e gestendo un ring buffer CUDA limitato sulla GPU. Le pagine di cache vengono precaricate ed espulse in tempo reale, così la latenza di trasferimento resta nascosta dietro il calcolo. Gli utenti con schede da 16 GB possono quindi mantenere velocità di decoding stabili e sfruttare l'intera lunghezza nativa del contesto senza il catastrofico thrashing delle pagine.

Verso dove stiamo andando

Altri engine seguono la stessa filosofia. LM Cache e vLLM implementano idee simili di caching e scheduling, e il fork con streaming KV adattivo di llama.cpp mostra quanto lontano possa spingersi un progetto della comunità. La direzione è chiara: grazie alla stratificazione dell'hardware, alla quantizzazione avanzata e agli engine di streaming intelligenti, l'esecuzione locale dell'IA sta diventando più praticabile, più efficiente e più accessibile sui computer consumer di tutti i giorni. Il divario tra ciò che può girare in un data centre e ciò che può girare su un desktop si sta riducendo, e gli strumenti che lo rendono possibile sono aperti a chiunque voglia studiarli e migliorarli.