Eseguire localmente modelli MoE di frontiera per il coding su hardware consumer
A novembre 2026 il prezzo della memoria e delle GPU è salito alle stelle. Comprare hardware di classe datacenter solo per eseguire localmente un buon modello per il coding è ormai fuori portata per la maggior parte degli sviluppatori indipendenti e dei piccoli team. La buona notizia è che non serve più. I modelli Mixture-of-Experts (MoE), combinati con un motore di inferenza ibrido, permettono di eseguire assistenti per il coding davvero capaci su schede consumer, usando la memoria che già possedete.
Perché i modelli MoE cambiano l'economia del problema
Un modello denso deve leggere ogni parametro per ogni token, quindi l'intero file dei pesi deve essere raggiungibile ad alta larghezza di banda. Un modello MoE attiva solo una piccola frazione dei suoi esperti per ogni token: il router ne seleziona una manciata e tutti gli altri restano inattivi. Questo singolo dettaglio architetturale è ciò che rende praticabile lo storage a livelli: gli esperti caldi restano in VRAM, quelli tiepidi nella RAM di sistema e quelli freddi su un SSD NVMe, richiamati solo quando il router li seleziona. Il motore nasconde la latenza con il prefetching e i trasferimenti asincroni, così la generazione resta fluida anche quando qualche esperto deve arrivare dal disco.
Il motore ibrido: offload della memoria a livelli
Motori come Strata, Colibri e kTransformers implementano la stessa idea. Analizzano la macchina e costruiscono un piano di collocazione: la cache KV e gli esperti instradati più spesso restano residenti sulla GPU, il modello draft usato per il decoding speculativo si colloca accanto a loro, la maggior parte degli esperti rimanenti va in RAM e tutto il resto viene mappato in memoria dall'SSD. Poiché il piano viene calcolato per ogni macchina, lo stesso modello può girare su una scheda da 24 GB, su una coppia da 48 GB o su una macchina a memoria unificata senza regolazioni manuali.
| Livello | Cosa contiene | Perché |
|---|---|---|
| VRAM (GPU) | Cache KV, esperti caldi, modello draft | Larghezza di banda massima, decoding veloce |
| RAM di sistema | Esperti tiepidi e pesi rimanenti | Grande capacità a banda moderata |
| SSD NVMe | Esperti freddi, mappati in memoria | Capacità economica, paginazione su richiesta |
Una configurazione di riferimento fatta di hardware del 2020
Due RTX 3090 offrono 48 GB di VRAM. Aggiungete 128 GB di DDR4 a circa 100 GB/s e un SSD NVMe Gen4 da circa 8 GB/s e avete una macchina in grado di gestire modelli molto più grandi della sua VRAM. È hardware del 2020 e continua a dare buoni risultati. Il punto non è che i componenti vecchi siano magici: il motore ha bisogno solo di memoria veloce a sufficienza per il percorso caldo e di memoria totale a sufficienza per tutto il resto.
| Componente | Specifica | Ruolo |
|---|---|---|
| GPU | 2 x RTX 3090, 48 GB di VRAM | Cache KV, esperti caldi, modello draft |
| RAM | 128 GB DDR4, ~100 GB/s | Esperti tiepidi, pesi in overflow |
| Archiviazione | NVMe Gen4, ~8 GB/s | Esperti freddi, mappati in memoria |
Primo modello da provare: Qwen 3.8 Flash Next
Il primo modello che vale la pena provare è Qwen 3.8 Flash Next. Con la quantizzazione IQ3_S di ISTA-DASLab l'ingombro scende a circa 50 GB, il che significa che quasi tutto entra tra VRAM e RAM. La perdita di qualità è contenuta: sui benchmark testuali la perplessità cresce solo marginalmente rispetto al modello base e il comportamento sul coding resta vicino all'originale. Si raggiungono migliaia di token in prefill e oltre 100 token al secondo in decoding. Il server espone un'API compatibile con OpenAI, quindi qualsiasi framework di test, CLI o estensione per IDE può puntarci senza modifiche.
Secondo modello: DeepSeek V4.1 Flash 1017
Il secondo approccio è più lento ma funziona. DeepSeek V4.1 Flash 1017 può essere quantizzato a circa 2,25 bit per peso, portando il download a circa 275 GB. Una parte viene caricata in VRAM, il resto si divide tra RAM e SSD. Aspettatevi un aumento di circa il 3 per cento della perplessità sul coding rispetto al modello base, un compromesso molto ragionevole. Usate la quantizzazione int8 per la cache KV, così la finestra di contesto resta sostenibile in memoria.
| Modello | Quantizzazione | Ingombro | Note |
|---|---|---|---|
| Qwen 3.8 Flash Next | IQ3_S (ISTA-DASLab) | ~50 GB | Veloce, oltre 100 tok/s in decoding, API compatibile OpenAI |
| DeepSeek V4.1 Flash 1017 | ~2,25 bpw, cache KV int8 | ~275 GB | Più lento, ~3% di perplessità in più sul coding |
Alternative a memoria unificata
La stessa ricetta funziona sull'hardware a memoria unificata. Strix Halo, Apple Silicon e le macchine Spark basate su GB10 condividono un unico grande pool tra CPU e GPU, eliminando la separazione tra VRAM e RAM e semplificando il collocamento. La larghezza di banda per byte è inferiore a quella di una GPU discreta, quindi il prefill è più lento, ma il vantaggio in capacità è reale e la configurazione è molto più semplice.
Cosa si ottiene in cambio
Una workstation che esegue questi modelli a piena velocità richiede ancora un investimento superiore a 100k. Con hardware del 2020 e una spesa di circa 2k si ottiene invece una soluzione funzionante. Realisticamente si arriva all'80-90 per cento dell'intelligenza dei modelli di frontiera, servita a un ritmo personale: non un sostituto di un datacenter, ma un compagno solido per sviluppatori indipendenti e piccole imprese. Tra 2k e 5k c'è oggi il punto di equilibrio.
Lista di controllo pratica
Installate una build recente del motore, lasciate che analizzi la macchina e accettate il piano di collocazione generato. Mantenete la cache KV quantizzata a int8, fissate il modello draft sulla GPU e assicuratevi che l'SSD abbia spazio libero sufficiente per gli esperti freddi. Le schede NVIDIA delle serie 30, 40 e 50 sono supportate sia su Windows sia su Linux. Partite dal modello più piccolo, misurate i token al secondo e salite di livello solo se i numeri tengono.
Lavoriamo insieme
Hai bisogno di maggiori informazioni, aiuto con il tuo progetto o di sviluppare un'idea?
Che si tratti di una domanda semplice, un dubbio rapido o una chat di 5 minuti, mandami un messaggio—non costa nulla e sono sempre pronto ad aiutare. Mi piace ascoltare per capire il problema, essere creativo nelle soluzioni e puntare a idee semplici, affidabili e non complicate da realizzare rapidamente.
Contattami →