2026-11-03 · 4 Min. Lesezeit

DeepSeek-V4.1-Flash-1017 Coder: ein komprimiertes Coding-Modell für Consumer-Workstations

In einem früheren Artikel haben wir gezeigt, wie man DeepSeek-V4.1-Flash auf einer Consumer-Workstation startet, indem man VRAM, Arbeitsspeicher und NVMe-Speicher kombiniert. Heute folgt eine zweite Option, die sich gezielt an die Softwareentwicklung richtet: DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF von ISTA-DASLab. Diese Veröffentlichung übernimmt dasselbe Basismodell und entfernt einen großen Teil seiner sparse Experten. Dadurch schrumpfen die Gewichtsdateien so stark, dass ein vollständiger Coding-Assistent ausschließlich in Grafikspeicher und Arbeitsspeicher leben kann, ganz ohne Auslagerung auf eine NVMe-Platte.

Was die Coder-Variante verändert

Der neue Build ist keine einfache Requantisierung. Es handelt sich um eine fähigkeitsorientierte Veröffentlichung: Die Kompressionspipeline wurde rund um Coding- und Agentic-Workloads entworfen. Die Teile des Netzwerks, die für das Programmieren am wichtigsten sind, bleiben deshalb mit höherer Präzision erhalten, während der Rest aggressiv reduziert wird. Das Ergebnis ist ein Modell, das sich wie ein Spezialist und nicht wie ein Generalist verhält und das in Hardware passt, die viele Entwickler bereits besitzen.

GSQ und RCO: die beiden Säulen der Kompression

Die erste Säule ist die Gumbel-Softmax-Quantisierung (GSQ). Statt Gewichte auf ein festes Raster zu runden, lernt GSQ die Rasterzuordnung pro Koordinate gemeinsam mit den Skalen pro Gruppe. Das ergibt eine deutlich genauere skalare Quantisierung mit niedriger Bitzahl. Die zweite Säule ist die Riemannian Constrained Optimization (RCO), die das Bitbudget jedes Tensors während der gemeinsamen Optimierung als harte Nebenbedingung behandelt. In der Praxis entscheidet RCO, wohin die verfügbaren Bits fließen: empfindliche Schichten erhalten mehr Präzision, robuste Schichten weniger. Zusammen halten beide Verfahren das Modell auch bei Bitraten kohärent, die normalerweise die Qualität zerstören würden.

Expertenbeschneidung: von 384 auf 192 geroutete Experten

Die sichtbarste Änderung ist struktureller Natur. Die Hälfte der gerouteten Schichten des sparse Mixture-of-Experts wird vollständig entfernt: Von den ursprünglich 384 gerouteten Experten pro Schicht bleiben genau 192 übrig, ausgewählt nach ihrer Relevanz für Coding-Aufgaben. Die überlebenden Gewichte behalten die Präzision pro Tensor des IQ2_XXS-Builds. Weil ganze Experten verschwinden und nicht bloß quantisiert werden, ist die Einsparung deutlich größer, als es eine reine Reduktion der Bitbreite erlauben würde.

Speicherbedarf

Die Transformer-Gewichte belegen nun 72,1 GB, verglichen mit 138,2 GB beim unbeschnittenen IQ2_XXS-Build. Gemessen an den Transformer-Parametern des Originalmodells ergibt das etwa ein effektives Bit pro Parameter, obwohl die überlebenden Parameter im Durchschnitt 2,06 Bit benötigen, weil die dichten Tensoren mit höherer Präzision erhalten bleiben. Das Modell nutzt weiterhin die gemeinsame Engram-Lookup-Tabelle mit 110,6 GB aus der unbeschnittenen Veröffentlichung. Sie liest ein Zeile pro Token und kann auf der Platte oder im Arbeitsspeicher bleiben, muss also nicht dauerhaft im VRAM liegen.

Balkendiagramm der Programmierfähigkeiten von DeepSeek-V4.1-Flash-1017 Coder

Hardware-Konfigurationen

Die praktische Konsequenz: Eine Workstation mit zwei GPUs und großzügigem Arbeitsspeicher kann das gesamte System hosten, ohne das NVMe-Laufwerk zu beanspruchen. Zwei RTX 3090 oder zwei AMD R9700 in Kombination mit 192 GB RAM reichen aus, um sowohl die Transformer-Gewichte als auch die Engram-Tabelle im schnellen Speicher zu halten. Wer weniger ausgeben möchte, kann einen Teil der Engram-Tabelle weiterhin auf eine NVMe-Platte auslagern. Selbst dann bleibt der Gesamtbedarf unter 50 GB im Vergleich zur ursprünglichen 2,2-bpw-Quantisierung des Basismodells.

Typische Speicherpläne für den Coder-Build
KonfigurationGPU-SpeicherArbeitsspeicherNVMe-Nutzung
Zwei RTX 309048 GB192 GBkeine
Zwei AMD R970064 GB192 GBkeine
Eine GPU mit Auslagerung24 GB128 GBEngram-Zeilen auf der Platte
← Nach rechts scrollen für mehr →

Benchmark-Ergebnisse

Aggressive Beschneidung kostet normalerweise Genauigkeit, doch die veröffentlichten Messungen zeigen, dass der Großteil der Coding-Fähigkeiten erhalten bleibt. Auf LiveCodeBench v6 erreicht der Coder-Build 88,57 Punkte gegenüber 89,71 beim Basismodell und bewahrt damit 98,7 Prozent der ursprünglichen Leistung. Auf SWE-bench Verified kommt er auf 77,00 Punkte und hält 94,8 Prozent der Ausgangsleistung. Mit anderen Worten: Ein Coding-Modell mit mehreren Milliarden Parametern, das früher einen Server benötigte, läuft nun auf einer Workstation und verliert bei realistischen Software-Engineering-Aufgaben nur wenige Punkte.

Erste Schritte

Die GGUF-Dateien, die Quantisierungskonfiguration und die Auswertungsdiagramme stehen im ISTA-DASLab-Repository auf Hugging Face bereit. Laden Sie die Variante herunter, die zu Ihrem Speicherbudget passt, binden Sie sie in Ihre bevorzugte Inferenz-Engine ein und richten Sie sie auf Ihre Codebasis. Wer bereits der vorherigen Anleitung zu DeepSeek-V4.1-Flash gefolgt ist, findet denselben Ablauf vor; nur die Modelldateien und der Speicherplan ändern sich.

Lassen Sie uns zusammenarbeiten

Benötigen Sie weitere Informationen, Hilfe bei Ihrem Projekt oder zur Entwicklung einer Idee?

Ob einfache Frage, kurzer Zweifel oder ein 5-Minuten-Chat, schreib mir einfach—es kostet nichts und ich helfe immer gerne. Ich liebe es, Probleme zu verstehen, kreative Lösungen zu finden und mich auf einfache, zuverlässige und unkomplizierte Ideen zu konzentrieren, die sich schnell umsetzen lassen.

Kontaktiere mich →

Thema wechseln

Wählen Sie ein spezielles Thema zum Erkunden: