GGUF, EXL2, GPTQ und AWQ: Ein umfassender Vergleich für LLM-Serving

Erfahren Sie die wichtigsten Unterschiede zwischen den Quantisierungsformaten GGUF, EXL2, GPTQ und AWQ und wie sie in llama.cpp und vLLM für Heim- und Unternehmensnutzer eingesetzt werden.

Einführung

Moderne Sprachmodelle (LLMs) sind extrem speicherhungrig. Ein 70-Milliarden-Parameter-Modell in voller Präzision (FP16) benötigt rund 140 GB VRAM – selbst die leistungsstärksten Consumer-GPUs sind damit überfordert. Quantisierung reduziert die Genauigkeit der Gewichte von 16 Bit auf 4 Bit oder niedriger, wodurch der Speicherbedarf drastisch sinkt. Doch nicht alle Quantisierungsformate sind gleich. Die Wahl zwischen GGUF, EXL2, GPTQ und AWQ hängt von Ihrer Hardware, der Serving-Engine und Ihren Prioritäten ab: Portabilität, Geschwindigkeit oder Durchsatz bei mehreren Nutzern.

Übersicht über die Quantisierungsformate

GGUF (GPT-Generated Unified Format) ist das nativen Format von llama.cpp und das vielseitigste. Es läuft auf CPUs, Apple Silicon, gemischten CPU/GPU-Setups und unterstützt eine breite Palette von Quantisierungsstufen (2 bis 8 Bit). Es ist der Standard für lokale, Einzelbenutzer- und Edge-Deployments. GPTQ (Generalized Post-Training Quantization) war lange der GPU-Standard. Es ist für NVIDIA-GPUs optimiert und bietet eine gute Balance zwischen Kompression und Inferenzgeschwindigkeit, wird aber zunehmend von neueren Formaten wie AWQ abgelöst. AWQ (Activation-aware Weight Quantization) ist der aktuelle Industriestandard für GPU-Produktion. Es schützt wichtige Gewichte basierend auf Aktivierungsmustern, was die Genauigkeit bei gleicher Bitbreite verbessert. Es ist hochoptimiert für moderne NVIDIA-Kernel (Marlin) und ideal für Hochdurchsatz-Serving. EXL2 ist das Format der ExLlamaV2-Engine. Es bietet die feinste Kontrolle über die Bitbreite (z. B. 3,5, 4,25, 5,0 Bit pro Gewicht) und ermöglicht es, Modelle exakt in den begrenzten VRAM zu pressen. Es ist oft das schnellste Format für Einzelbenutzer-Generierung auf NVIDIA Consumer-GPUs.

Vergleichstabelle der Formate

Verwendung in llama.cpp

llama.cpp wurde um das GGUF-Format herum entwickelt. Es ist die Standard-Engine für Nutzer, die keine dedizierte High-End-NVIDIA-GPU besitzen, Modelle auf der CPU oder Apple Silicon ausführen müssen oder eine einfache „One-Size-Fits-All“-Lösung suchen. Mit llama.cpp können Sie Teile eines Modells auf die GPU auslagern, während der Rest im Arbeitsspeicher verbleibt (CPU+GPU-Offloading). Dies ermöglicht es, große Modelle auch auf Geräten mit begrenztem VRAM auszuführen. Tools wie Ollama und LM Studio nutzen llama.cpp im Hintergrund und machen GGUF zur einfachsten Wahl für Einsteiger. Für lokale Chat-Anwendungen, Textgenerierung auf dem Laptop oder Edge-Devices ist GGUF die unangefochtene Nummer Eins.

Verwendung in vLLM

vLLM ist für den Hochdurchsatz-Produktionseinsatz konzipiert. Es implementiert PagedAttention und kontinuierliches Batching, um viele Nutzer gleichzeitig zu bedienen. Nativ unterstützt vLLM AWQ und GPTQ. Dies sind die Formate, die Sie in einer Produktionsumgebung verwenden sollten. AWQ wird aufgrund seiner überlegenen Genauigkeit und Geschwindigkeit (insbesondere mit dem Marlin-Kernel) bevorzugt. GPTQ wird weiterhin unterstützt, aber für neue Projekte wird AWQ empfohlen. GGUF wird in vLLM nur experimentell unterstützt und ist für die Produktion nicht geeignet – es ist oft langsamer und weniger optimiert. EXL2 wird von vLLM nicht unterstützt; es ist exklusiv für die ExLlamaV2-Engine, die auf Einzelbenutzer-Latenz ausgelegt ist.

Das richtige Format auswählen

Für Heimnutzer oder lokale Entwicklung: Verwenden Sie GGUF mit llama.cpp (oder Tools wie Ollama). Es ist am kompatibelsten, läuft auf fast jeder Hardware und ist einfach zu verwalten. Für Unternehmen oder Hochdurchsatz-Serving: Verwenden Sie AWQ mit vLLM auf NVIDIA-GPUs. Es bietet die beste Balance aus Geschwindigkeit, Genauigkeit und Skalierbarkeit für die gleichzeitige Bedienung vieler Nutzer. Für Power-User (Einzelbenutzer-Geschwindigkeit): Wenn Sie eine NVIDIA-GPU besitzen und die absolut schnellste Generierungsgeschwindigkeit für einen einzelnen Nutzer wünschen, verwenden Sie EXL2 mit der ExLlamaV2-Engine. Achten Sie darauf, dass Ihre Serving-Engine das gewählte Format unterstützt, bevor Sie ein Modell quantisieren.

Fazit

Die Wahl des Quantisierungsformats ist eine strategische Entscheidung, die auf Ihrem Anwendungsfall basieren sollte. GGUF dominiert den lokalen Bereich, AWQ die Produktion, EXL2 die Nische der Höchstgeschwindigkeit und GPTQ bleibt eine solide, aber ältere Option. Durch das Verständnis dieser Unterschiede können Sie Ihr LLM-Serving sowohl für den Heimgebrauch als auch für Unternehmensanwendungen optimieren.