La migliore build AI locale per consumatori di settembre 2026: doppia RTX 3090 o 4090 con Qwen 3.8 27B a 3,5 bpw

Settembre 2026 rappresenta un momento straordinario per l'intelligenza artificiale locale. Una workstation da consumatore costruita attorno a due schede RTX 3090, oppure a due RTX 4090, è oggi in grado di eseguire un modello da 27 miliardi di parametri con una finestra di contesto di 256k token completamente offline. L'elemento abilitante è il rilascio Qwen 3.8 27B GSQ-RCO GGUF, un checkpoint quantizzato che raggiunge 3,5 bit per peso mantenendo la precisione del modello base originale. Questo articolo illustra le scelte hardware, la scienza della quantizzazione alla base di GSQ e RCO e la configurazione esatta di llama.cpp necessaria per riprodurre il risultato a casa.

Perché due RTX 3090 restano la scelta più intelligente

Sia la RTX 3090 sia la RTX 4090 dispongono di 24 GB di VRAM, ed è questa capacità, non la potenza di calcolo grezza, a limitare l'inferenza locale. Due schede offrono 48 GB di memoria utilizzabile, il punto ideale per un modello da 27B più una cache chiave-valore molto ampia. La 4090 è circa due volte più veloce nella generazione dei token e sensibilmente più rapida nell'elaborazione del prompt, ma costa molto di più per gigabyte. Per la maggior parte degli appassionati, un paio di 3090 usate offre il miglior equilibrio tra prezzo, memoria e affidabilità. Se il budget lo consente, anche abbinare una 4090 e una 3090 funziona, anche se la scheda più lenta determina il ritmo dei carichi tensor-parallel. Qualunque coppia scegliate, assicuratevi che l'alimentatore eroghi almeno 850 watt e che la scheda madre esponga due slot PCIe x16 con un flusso d'aria adeguato tra loro.

GSQ e RCO: come 3,5 bit eguagliano il modello base

Il checkpoint Qwen 3.8 27B GSQ-RCO GGUF proviene dal Distributed Algorithms and Systems Lab e combina due tecniche complementari. La Gumbel-Softmax Quantization (GSQ) è un metodo di quantizzazione scalare post-addestramento che apprende congiuntamente le assegnazioni della griglia per coordinata e le scale per gruppo tramite un rilassamento Gumbel-Softmax. Invece di arrotondare ogni peso sulla stessa griglia, GSQ cerca la migliore assegnazione per ciascuna coordinata, colmando gran parte del divario tra quantizzazione scalare e vettoriale a due o tre bit e rimanendo al contempo distribuibile nei formati scalari standard come GGUF. La Riemannian Constrained Optimization (RCO) assegna poi uno tra K tipi di quantizzazione a ciascuno degli N tensori entro un budget dimensionale complessivo. Il vincolo di budget viene riformulato come una varietà riemanniana liscia nello spazio dei logit, il che consente un'ottimizzazione basata sul gradiente direttamente sulla loss del task, imponendo il budget in modo esatto e senza messa a punto di iperparametri specifici del vincolo.

La conseguenza pratica è visibile nel grafico pubblicato della media dei task rispetto alla larghezza media in bit: a 3,5 bpw la build GSQ-RCO segue da vicino il modello base non quantizzato e supera nettamente le quantizzazioni dinamiche Unsloth a tre bit con lo stesso ingombro. La perplessità resta bassa e i benchmark di ragionamento, programmazione e multilingua rimangono stabili.

Cache KV, precisione Q8 e un contesto completo da 256k

Una finestra di contesto da 256k consuma molta memoria, ma 48 GB sono sufficienti quando i pesi sono ridotti. A 3,5 bpw il modello occupa all'incirca da 12 a 14 GB, lasciando più di 30 GB per le attivazioni e la cache KV. Quantizzare la cache a Q8 mantiene coerente il ragionamento su contesti lunghi dimezzandone l'ingombro rispetto a FP16. Per raggiungere i 262.144 token completi è necessario suddividere il modello tra le due GPU con il parallelismo tensoriale e trasferire ogni layer, cache inclusa, sulle GPU. Se la VRAM scarseggia, riducete la cache a Q4_0 come ripiego, ma aspettatevi una perdita misurabile di coerenza oltre i 100k token.

Ospitare localmente con llama.cpp

Poiché i checkpoint GSQ-RCO sono normali file GGUF, non serve alcun fork personalizzato. Scaricate l'ultima build di llama.cpp, prelevate il modello quantizzato dal link sottostante e avviate il server con la suddivisione tensoriale, l'offload completo sulla GPU e una cache Q8. Impostate la lunghezza del contesto a 262144 e abilitate la flash attention. Se la vostra build supporta la previsione multi-token, attivatela: può aumentare sensibilmente la velocità di generazione sui sistemi dual-GPU. Controllate la VRAM durante il primo caricamento; se l'allocazione fallisce, verificate che la cache sia quantizzata e che nessun altro processo occupi memoria.

Note pratiche di ottimizzazione

Per la massima fedeltà, la build Unsloth UD Q4 resta una valida alternativa, ma la sua perplessità è più alta rispetto al rilascio GSQ-RCO a 3,5 bpw, quindi quest'ultimo è l'impostazione predefinita migliore quando si desidera il contesto più ampio al minor costo di memoria. Mantenete aggiornati i driver, impostate il processo in modalità prestazioni e monitorate le temperature, perché due 3090 sotto carico continuo producono un calore considerevole. Con una messa a punto accurata, questa build offre un'inferenza di qualità quasi da datacenter da una macchina da scrivania.