Qwen3.8-Flash-Next e DeepSeek-V4.1-Flash-1017: i GGUF Unsloth Dynamic V3.1 contro GSQ-RCO
Qwen3.8-Flash-Next e DeepSeek-V4.1-Flash-1017: i GGUF Unsloth Dynamic V3.1 contro la quantizzazione GSQ-RCO
Il panorama dell'inferenza locale si è trasformato in una vera e propria guerra della quantizzazione. Unsloth ha pubblicato le build GGUF Dynamic V3.1 per due famiglie Mixture-of-Experts di frontiera — Qwen3.8-Flash-Next e DeepSeek-V4.1-Flash-1017 — posizionandole direttamente contro le quantizzazioni GSQ-RCO rilasciate da ISTA-DASLab. La dichiarazione è audace: circa il 15 per cento di accuratezza in più rispetto agli altri quant di frontiera a parità di dimensione del file, con i punteggi più alti su Terminal Bench e DeepSWE. Questo articolo spiega cosa è cambiato nel quantizzatore, come sono stati misurati i numeri e come eseguire questi modelli su una singola workstation.
Perché Dynamic V3.1 supera la quantizzazione uniforme
La quantizzazione post-addestramento classica applica un'unica ricetta a ogni tensore della rete. L'approccio è rapido e prevedibile, ma tratta un gate del router esattamente come un esperto ridondante, ed è proprio lì che l'accuratezza si perde. Unsloth Dynamic V3.1 si affida invece a dati di calibrazione imatrix di alta qualità e diversificati, a una selezione intelligente dei livelli e a schemi di quantizzazione personalizzati per livello, pensati per architetture Mixture-of-Experts e ibride. I livelli critici mantengono più bit, mentre gli esperti duplicati vengono compressi con maggiore aggressività. Il risultato è un profilo di divergenza KL migliore e una fedeltà funzionale preservata anche con impostazioni a bit molto bassi.
È la distribuzione sui benchmark a rendere concreto il discorso. Su Terminal Bench 2.1, DeepSWE v1.1, Aider Polyglot, LiveCodeBench v6 e GPQA Diamond, Dynamic V3.1 si colloca in cima alla propria classe di dimensione. La valutazione copre circa 26-30 miliardi di token e il team contesta anche le dichiarazioni dei concorrenti sui tassi di recupero su AIME25. Nei cicli agentici — chiamate a strumenti multi-turno, esecuzione di comandi shell, generazione di patch — il divario si allarga ulteriormente, perché questi carichi di lavoro puniscono qualsiasi deriva nel percorso di ragionamento.
DeepSeek-V4.1-Flash-1017 nella pratica
Per DeepSeek-V4.1-Flash-1017 i file Dynamic V3.1 mantengono nitidi gli esperti instradati riducendo al contempo gli enormi banchi di embedding n-gram che dominano il conteggio dei parametri. Questo equilibrio conta: le tabelle di embedding vengono lette di continuo ma tollerano una precisione più grossolana, mentre gli esperti attivati su un dato token hanno bisogno di ogni bit disponibile. Nelle prove affiancate la build Dynamic mantiene l'accuratezza sul recupero a contesto lungo e sull'uso multi-passo degli strumenti, mentre la variante GSQ-RCO inizia a cedere quando il contesto cresce e l'agente deve concatenare diverse chiamate.


Qwen3.8-Flash-Next e i compiti di programmazione
Qwen3.8-Flash-Next, un MoE da 125 miliardi di parametri, è la seconda uscita principale. Rispetto alla build GSQ-RCO orientata al codice, la variante Unsloth Dynamic 3.1 appare superiore nei compiti di programmazione: genera meno patch difettose, rispetta più affidabilmente le convenzioni del repository e si riprende più in fretta dopo un test fallito. La differenza non è enorme su un singolo prompt, ma si accumula nel corso di una lunga sessione agentica, che è esattamente lo scenario per cui questi modelli vengono distribuiti.

Servire modelli MoE da VRAM, RAM e SSD
Eseguire localmente un modello da 125 miliardi di parametri richiedeva un tempo hardware da data center. I motori di inferenza moderni cambiano la situazione con una strategia di memoria a livelli. Gli esperti instradati attivi, i pesi di attenzione e la cache KV sono fissati nella VRAM, dove la latenza è minima. La commutazione degli engram e il memory mapping su SSD ospitano i restanti pool di parametri, compresi gli enormi banchi di embedding n-gram. La commutazione di precisione degli engram supporta formati come BF16, Q8_0, Q5_1 e IQ4_NL, mentre le teste di predizione multi-token aggiungono il decoding speculativo. Insieme, queste tecniche permettono a una workstation con 32-128 GB di RAM o memoria unificata di eseguire agenti locali su larga scala senza pesanti perdite di accuratezza.
Dynamic V3.1 contro GSQ-RCO in sintesi
| Criterio | Unsloth Dynamic V3.1 | GSQ-RCO |
|---|---|---|
| Accuratezza rispetto ai quant di frontiera | +10–15% | Riferimento |
| Terminal Bench 2.1 / DeepSWE v1.1 | In cima alla classe | Più basso |
| Dati di calibrazione | Imatrix diversificati, selezione multi-livello | Ricetta uniforme |
| Gestione MoE e ibrida | Schemi per livello | Generica |
| Divergenza KL | Più bassa | Più alta |
| Comportamento a bit bassi | Fedeltà mantenuta | Deriva evidente |
| Livelli di memoria | VRAM + RAM + SSD | VRAM + RAM |
Scegliere il file giusto
Partite dalla memoria disponibile, non dalla tabella dei benchmark. Con 32 GB di memoria unificata scegliete un file Dynamic V3.1 a bit intermedi e mantenete piccola la cache KV; con 128 GB le varianti a bit più alto, insieme all'offload su SSD, offrono un comportamento quasi senza perdite. Qualunque file scegliate, verificatelo con la vostra suite di attività: cicli agentici in stile Terminal Bench e una breve esecuzione con Aider bastano di solito a capire se un quant è adatto al vostro carico di lavoro.
Lavoriamo insieme
Hai bisogno di maggiori informazioni, aiuto con il tuo progetto o di sviluppare un'idea?
Che si tratti di una domanda semplice, un dubbio rapido o una chat di 5 minuti, mandami un messaggio—non costa nulla e sono sempre pronto ad aiutare. Mi piace ascoltare per capire il problema, essere creativo nelle soluzioni e puntare a idee semplici, affidabili e non complicate da realizzare rapidamente.
Contattami →