Bester lokaler KI-Rechner für Endanwender im September 2026: zwei RTX 3090 oder 4090 mit Qwen 3.8 27B bei 3,5 bpw

Der September 2026 ist ein bemerkenswerter Moment für lokale künstliche Intelligenz. Eine Workstation für Endanwender, die um zwei RTX 3090 oder zwei RTX 4090 herum aufgebaut ist, kann heute ein Modell mit 27 Milliarden Parametern und einem Kontextfenster von 256k Token vollständig offline ausführen. Ermöglicht wird dies durch die Veröffentlichung Qwen 3.8 27B GSQ-RCO GGUF, einen quantisierten Checkpoint, der 3,5 Bit pro Gewicht erreicht und dabei die Genauigkeit des ursprünglichen Basismodells beibehält. Dieser Artikel erläutert die Hardwareauswahl, die Quantisierungstechnik hinter GSQ und RCO sowie die genaue llama.cpp-Konfiguration, mit der sich das Ergebnis zu Hause nachvollziehen lässt.

Warum zwei RTX 3090 auch 2026 die klügste Wahl bleiben

Sowohl die RTX 3090 als auch die RTX 4090 verfügen über 24 GB VRAM, und genau diese Kapazität, nicht die reine Rechenleistung, begrenzt die lokale Inferenz. Zwei Karten bieten 48 GB nutzbaren Speicher, was den idealen Kompromiss für ein 27B-Modell plus einen sehr großen Key-Value-Cache darstellt. Die 4090 ist bei der Token-Generierung etwa doppelt so schnell und verarbeitet Prompts deutlich zügiger, kostet aber pro Gigabyte erheblich mehr. Für die meisten Enthusiasten bietet ein Paar gebrauchter 3090 das beste Verhältnis aus Preis, Speicher und Zuverlässigkeit. Wenn das Budget es zulässt, funktioniert auch eine Kombination aus einer 4090 und einer 3090, wobei die langsamere Karte bei tensorparallelen Lasten das Tempo vorgibt. Welches Paar Sie auch wählen: Achten Sie darauf, dass das Netzteil mindestens 850 Watt liefert und das Mainboard zwei PCIe-x16-Steckplätze mit ausreichender Luftzirkulation bereitstellt.

GSQ und RCO: Wie 3,5 Bit das Basismodell erreichen

Der Checkpoint Qwen 3.8 27B GSQ-RCO GGUF stammt vom Distributed Algorithms and Systems Lab und kombiniert zwei komplementäre Verfahren. Die Gumbel-Softmax-Quantisierung (GSQ) ist eine skalare Post-Training-Quantisierung, die die Gitterzuweisungen pro Koordinate und die Skalen pro Gruppe gemeinsam über eine Gumbel-Softmax-Relaxation erlernt. Statt jedes Gewicht auf dasselbe Gitter zu runden, sucht GSQ die beste Zuweisung pro Koordinate. Dadurch wird die Lücke zwischen skalarer und vektorieller Quantisierung bei zwei bis drei Bit weitgehend geschlossen, während das Verfahren in standardmäßigen skalaren Formaten wie GGUF einsetzbar bleibt. Die Riemannian Constrained Optimization (RCO) weist anschließend jedem der N Tensoren unter einem Gesamtgrößenbudget einen von K Quantisierungstypen zu. Die Budgetbeschränkung wird als glatte riemannsche Mannigfaltigkeit im Logit-Raum umformuliert, was eine gradientenbasierte Optimierung direkt auf der Aufgabenverlustfunktion erlaubt und das Budget exakt einhält, ohne beschränkungsspezifische Hyperparameterabstimmung.

Die praktische Auswirkung zeigt sich deutlich in der veröffentlichten Kurve der durchschnittlichen Aufgabenleistung gegenüber der mittleren Bitbreite: Bei 3,5 bpw folgt die GSQ-RCO-Version dem unquantisierten Basismodell eng und übertrifft die Dreibit-Dynamic-Quants von Unsloth bei gleichem Speicherbedarf klar. Die Perplexität bleibt niedrig, und die Benchmarks für Schlussfolgerungen, Programmierung und Mehrsprachigkeit bleiben stabil.

KV-Cache, Q8-Genauigkeit und voller 256k-Kontext

Ein Kontextfenster von 256k ist speicherhungrig, doch 48 GB reichen aus, wenn die Gewichte klein sind. Bei 3,5 bpw belegt das Modell etwa 12 bis 14 GB, sodass mehr als 30 GB für Aktivierungen und den KV-Cache übrig bleiben. Wird der Cache auf Q8 quantisiert, bleibt die Schlussfolgerung über lange Kontexte hinweg kohärent, während der Speicherbedarf gegenüber FP16 halbiert wird. Um die vollen 262.144 Token zu erreichen, müssen Sie das Modell per Tensorparallelität auf beide GPUs aufteilen und jede Schicht einschließlich des Caches auf die GPUs auslagern. Sollte der VRAM knapp werden, senken Sie den Cache als Notlösung auf Q4_0, rechnen Sie jedoch jenseits von 100k Token mit einem messbaren Verlust an Kohärenz.

Lokales Hosting mit llama.cpp

Da GSQ-RCO-Checkpoints gewöhnliche GGUF-Dateien sind, ist kein angepasster Fork nötig. Laden Sie den neuesten llama.cpp-Build herunter, beziehen Sie das quantisierte Modell über den unten stehenden Link und starten Sie den Server mit Tensoraufteilung, vollständiger GPU-Auslagerung und einem Q8-Cache. Setzen Sie die Kontextlänge auf 262144 und aktivieren Sie Flash Attention. Unterstützt Ihr Build die Multi-Token-Vorhersage, schalten Sie sie ein: Auf Systemen mit zwei GPUs kann sie den Generierungsdurchsatz deutlich steigern. Beobachten Sie den VRAM beim ersten Laden; schlägt die Zuweisung fehl, prüfen Sie, ob der Cache quantisiert ist und ob kein anderer Prozess Speicher belegt.

Praktische Hinweise zur Optimierung

Für maximale Wiedergabetreue bleibt der Unsloth-UD-Q4-Build eine starke Alternative, doch seine Perplexität ist höher als die der GSQ-RCO-Version mit 3,5 bpw. Letztere ist daher die bessere Standardwahl, wenn Sie den größten Kontext bei geringstem Speicherbedarf wünschen. Halten Sie die Treiber aktuell, setzen Sie den Prozess in den Leistungsmodus und überwachen Sie die Temperaturen, denn zwei 3090 unter Dauerlast erzeugen beträchtliche Wärme. Mit sorgfältiger Abstimmung liefert dieser Aufbau Inferenzqualität nahe am Rechenzentrumsniveau von einem Schreibtischrechner aus.