2026-11-03 · 4 min di lettura

DeepSeek-V4.1-Flash-1017 Coder: un modello di programmazione compresso per workstation consumer

In un articolo precedente abbiamo visto come avviare DeepSeek-V4.1-Flash su una workstation consumer combinando VRAM, RAM di sistema e archiviazione NVMe. Oggi torniamo con una seconda opzione pensata espressamente per lo sviluppo software: DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF, pubblicato da ISTA-DASLab. Questa release parte dallo stesso modello di base e rimuove una larga parte dei suoi esperti sparsi, riducendo i file dei pesi quanto basta perché un assistente di programmazione completo risieda interamente nella memoria grafica e nella memoria di sistema, senza alcuno scaricamento su NVMe.

Che cosa cambia nella variante coder

La nuova build non è una semplice riquantizzazione. Si tratta di una release mirata alle capacità: la pipeline di compressione è stata progettata intorno ai carichi di lavoro di programmazione e agentici, così le parti della rete che contano di più per il codice vengono conservate con precisione maggiore mentre il resto è ridotto in modo aggressivo. Il risultato è un modello che si comporta da specialista e non da generalista, e che entra in hardware che la maggior parte degli sviluppatori possiede già.

GSQ e RCO: i due pilastri della compressione

Il primo pilastro è la quantizzazione Gumbel-Softmax (GSQ). Invece di arrotondare i pesi su una griglia fissa, GSQ apprende le assegnazioni di griglia per coordinata insieme alle scale per gruppo, producendo una quantizzazione scalare a basso numero di bit molto più accurata. Il secondo pilastro è la Riemannian Constrained Optimization (RCO), che tratta il budget di bit di ogni tensore come un vincolo rigido durante l'ottimizzazione congiunta. In pratica RCO decide dove devono andare i bit disponibili, assegnando più precisione ai layer sensibili e meno a quelli che tollerano una compressione spinta. Insieme, le due tecniche mantengono il modello coerente a velocità di bit che normalmente distruggerebbero la qualità.

Potatura degli esperti: da 384 a 192 esperti instradati

Il cambiamento più visibile è strutturale. Metà dei layer instradati del mixture-of-experts sparso viene rimossa del tutto: dei 384 esperti instradati originali per layer ne restano esattamente 192, scelti in base alla loro rilevanza per i compiti di programmazione. I pesi sopravvissuti mantengono la precisione per tensore della build IQ2_XXS. Poiché interi esperti scompaiono invece di essere semplicemente quantizzati, il risparmio è molto maggiore di quanto darebbe la sola riduzione dell'ampiezza in bit.

Impronta di memoria

I pesi del transformer occupano ora 72,1 GB, contro i 138,2 GB della build IQ2_XXS non potata. Rapportati ai parametri del transformer del modello originale, equivalgono a circa un bit effettivo per parametro, anche se i parametri sopravvissuti arrivano in media a 2,06 bit perché i tensori densi sono mantenuti a precisione più alta. Il modello continua a usare la tabella di lookup Engram condivisa da 110,6 GB della release non potata; legge una riga per token e può restare su disco o nella memoria di sistema, quindi non deve essere residente nella VRAM.

Grafico a barre delle capacità di programmazione di DeepSeek-V4.1-Flash-1017 Coder

Configurazioni hardware

La conseguenza pratica è che una workstation con due GPU e una quantità generosa di memoria di sistema può ospitare l'intero insieme senza toccare l'unità NVMe. Due schede RTX 3090, oppure due schede AMD R9700, abbinate a 192 GB di RAM, bastano a tenere in memoria veloce sia i pesi del transformer sia la tabella Engram. Se preferite spendere meno, potete comunque scaricare parte della tabella Engram su un'unità NVMe; anche in questo caso l'impronta complessiva resta sotto i 50 GB rispetto alla quantizzazione originale a 2,2 bpw del modello di base.

Piani di memoria tipici per la build coder
ConfigurazioneMemoria GPURAM di sistemaUso dell'unità NVMe
Due RTX 309048 GB192 GBnessuno
Due AMD R970064 GB192 GBnessuno
Una GPU con scaricamento24 GB128 GBrighe Engram su disco
← Scorri a destra per vedere altro →

Risultati dei benchmark

Una potatura aggressiva di solito costa in accuratezza, ma le valutazioni pubblicate mostrano che gran parte delle capacità di programmazione sopravvive. Su LiveCodeBench v6 la build coder segna 88,57 contro 89,71 del modello di base, conservando il 98,7 per cento della capacità originale. Su SWE-bench Verified raggiunge 77,00, preservando il 94,8 per cento delle prestazioni di riferimento. In altre parole, un modello di programmazione da miliardi di parametri che un tempo richiedeva un server ora gira su una workstation perdendo solo pochi punti su compiti realistici di ingegneria del software.

Per iniziare

I file GGUF, la configurazione di quantizzazione e i grafici di valutazione sono disponibili nel repository ISTA-DASLab su Hugging Face. Scaricate la variante adatta al vostro budget di memoria, caricatela con il motore di inferenza che preferite e puntatela sulla vostra base di codice. Se arrivate dalla guida precedente su DeepSeek-V4.1-Flash, il flusso di lavoro è identico; cambiano solo i file del modello e il piano di memoria.

Lavoriamo insieme

Hai bisogno di maggiori informazioni, aiuto con il tuo progetto o di sviluppare un'idea?

Che si tratti di una domanda semplice, un dubbio rapido o una chat di 5 minuti, mandami un messaggio—non costa nulla e sono sempre pronto ad aiutare. Mi piace ascoltare per capire il problema, essere creativo nelle soluzioni e puntare a idee semplici, affidabili e non complicate da realizzare rapidamente.

Contattami →

Cambia Argomento

Scegli un argomento specializzato da esplorare: