2026-11-05 · 4 Min. Lesezeit

Qwen3.8-Flash-Next und DeepSeek-V4.1-Flash-1017: Unsloth Dynamic V3.1 GGUFs gegen GSQ-RCO

Qwen3.8-Flash-Next und DeepSeek-V4.1-Flash-1017: Unsloth Dynamic V3.1 GGUFs gegen GSQ-RCO-Quantisierung

Die lokale Inferenzlandschaft hat sich in einen echten Quantisierungskrieg verwandelt. Unsloth hat Dynamic-V3.1-GGUF-Builds für zwei führende Mixture-of-Experts-Familien veröffentlicht — Qwen3.8-Flash-Next und DeepSeek-V4.1-Flash-1017 — und positioniert sie direkt gegen die von ISTA-DASLab veröffentlichten GSQ-RCO-Quantisierungen. Die Behauptung ist kühn: rund 15 Prozent mehr Genauigkeit als andere führende Quantisierungen bei vergleichbarer Dateigröße, mit den höchsten Werten bei Terminal Bench und DeepSWE. Dieser Artikel erklärt, was sich im Quantisierer geändert hat, wie die Zahlen gemessen wurden und wie man diese Modelle auf einer einzelnen Workstation betreibt.

Warum Dynamic V3.1 die gleichmäßige Quantisierung übertrifft

Die klassische Post-Training-Quantisierung wendet ein einziges Rezept auf jeden Tensor des Netzwerks an. Der Ansatz ist schnell und vorhersehbar, behandelt aber ein Router-Gate genau wie einen redundanten Experten — und genau dort geht Genauigkeit verloren. Unsloth Dynamic V3.1 setzt stattdessen auf hochwertige, vielfältige imatrix-Kalibrierungsdaten, eine intelligente Mehrschichtauswahl und benutzerdefinierte Quantisierungsschemata pro Schicht, die gezielt für Mixture-of-Experts- und Hybridarchitekturen entwickelt wurden. Kritische Schichten behalten mehr Bits, während doppelte Experten stärker komprimiert werden. Das Ergebnis ist ein besseres KL-Divergenzprofil und eine erhaltene funktionale Treue selbst bei extremen Low-Bit-Einstellungen.

Die Verteilung über die Benchmarks macht das Argument konkret. Bei Terminal Bench 2.1, DeepSWE v1.1, Aider Polyglot, LiveCodeBench v6 und GPQA Diamond liegt Dynamic V3.1 an der Spitze seiner Größenklasse. Die Auswertung umfasst etwa 26 bis 30 Milliarden Token, und das Team widerspricht zudem den Angaben der Konkurrenz zu den Wiederherstellungsraten bei AIME25. In agentischen Schleifen — mehrstufige Tool-Aufrufe, Shell-Ausführung, Patch-Generierung — wird der Abstand noch größer, weil diese Arbeitslasten jede Abweichung im Reasoning-Pfad bestrafen.

DeepSeek-V4.1-Flash-1017 in der Praxis

Bei DeepSeek-V4.1-Flash-1017 halten die Dynamic-V3.1-Dateien die gerouteten Experten scharf und verkleinern zugleich die riesigen n-Gramm-Embedding-Bänke, die den Parameterumfang dominieren. Dieses Gleichgewicht ist wichtig: Embedding-Tabellen werden ständig gelesen, vertragen aber gröbere Präzision, während die für ein bestimmtes Token aktiven Experten jedes verfügbare Bit benötigen. In direkten Vergleichsläufen hält der Dynamic-Build seine Genauigkeit beim Retrieval über lange Kontexte und bei mehrstufiger Tool-Nutzung, während die GSQ-RCO-Variante nachzulassen beginnt, sobald der Kontext wächst und der Agent mehrere Aufrufe verketten muss.

Benchmark-Diagramm zum Vergleich von Unsloth Dynamic V3.1 mit der GSQ-RCO-QuantisierungErgebnisse der Coding-Benchmarks für die Quantisierungen von DeepSeek-V4.1-Flash-1017

Qwen3.8-Flash-Next und Programmieraufgaben

Qwen3.8-Flash-Next, ein MoE mit 125 Milliarden Parametern, ist die zweite große Veröffentlichung. Im Vergleich zum codeorientierten GSQ-RCO-Build wirkt die Unsloth-Dynamic-3.1-Variante bei Coding-Aufgaben überlegen: Sie erzeugt weniger fehlerhafte Patches, hält Repository-Konventionen zuverlässiger ein und erholt sich schneller nach einem fehlgeschlagenen Testlauf. Der Unterschied ist bei einem einzelnen Prompt nicht riesig, summiert sich aber über eine lange agentische Sitzung — genau das Szenario, für das diese Modelle eingesetzt werden.

Abschließende Benchmark-Zusammenfassung für Qwen3.8-Flash-Next und DeepSeek-V4.1-Flash-1017

MoE-Modelle aus VRAM, RAM und SSD bedienen

Ein Modell mit 125 Milliarden Parametern lokal zu betreiben, erforderte früher Hardware aus dem Rechenzentrum. Moderne Inferenz-Engines ändern das durch eine gestaffelte Speicherstrategie. Aktive geroutete Experten, Attention-Gewichte und der KV-Cache werden im VRAM gehalten, wo die Latenz am niedrigsten ist. Engram-Umschaltung und SSD-gestütztes Memory-Mapping beherbergen die übrigen Parameterpools, einschließlich der riesigen n-Gramm-Embedding-Bänke. Die Engram-Präzisionsumschaltung unterstützt Formate wie BF16, Q8_0, Q5_1 und IQ4_NL, und Multi-Token-Prediction-Köpfe ergänzen spekulatives Decoding. Zusammen ermöglichen diese Techniken einer Workstation mit 32 bis 128 GB RAM oder Unified Memory den reibungslosen Betrieb großer lokaler Agenten ohne starke Genauigkeitseinbußen.

Dynamic V3.1 und GSQ-RCO im Überblick

Quantisierungsvergleich für Qwen3.8-Flash-Next und DeepSeek-V4.1-Flash-1017.
KriteriumUnsloth Dynamic V3.1GSQ-RCO
Genauigkeit gegenüber führenden Quantisierungen+10–15 %Referenz
Terminal Bench 2.1 / DeepSWE v1.1Spitze der KlasseNiedriger
KalibrierungsdatenVielfältige imatrix, MehrschichtauswahlEinheitliches Rezept
MoE- und Hybrid-HandlingSchemata pro SchichtGenerisch
KL-DivergenzNiedrigerHöher
Verhalten bei niedriger BitrateTreue bleibt erhaltenDeutliche Abweichung
SpeicherebenenVRAM + RAM + SSDVRAM + RAM
← Nach rechts scrollen für mehr →

Die passende Datei auswählen

Beginnen Sie beim verfügbaren Speicher, nicht bei der Benchmark-Tabelle. Mit 32 GB Unified Memory wählen Sie eine Dynamic-V3.1-Datei mittlerer Bitrate und halten den KV-Cache klein; mit 128 GB liefern die Varianten mit höherer Bitrate zusammen mit SSD-Offloading nahezu verlustfreies Verhalten. Welche Datei Sie auch wählen, prüfen Sie sie mit Ihrer eigenen Aufgaben-Suite: agentische Schleifen im Stil von Terminal Bench und ein kurzer Aider-Lauf reichen in der Regel aus, um zu erkennen, ob eine Quantisierung zu Ihrer Arbeitslast passt.

Lassen Sie uns zusammenarbeiten

Benötigen Sie weitere Informationen, Hilfe bei Ihrem Projekt oder zur Entwicklung einer Idee?

Ob einfache Frage, kurzer Zweifel oder ein 5-Minuten-Chat, schreib mir einfach—es kostet nichts und ich helfe immer gerne. Ich liebe es, Probleme zu verstehen, kreative Lösungen zu finden und mich auf einfache, zuverlässige und unkomplizierte Ideen zu konzentrieren, die sich schnell umsetzen lassen.

Kontaktiere mich →

Thema wechseln

Wählen Sie ein spezielles Thema zum Erkunden: