2x RTX 3090 mit vLLM im Jahr 2026: Leistungsanalyse und KV-Cache-Strategien

Vergleich von 2x RTX 3090 mit vLLM im Jahr 2026: Leistung, Modellgrößen und KV-Cache-Optimierung

Im Jahr 2026 bleibt die Kombination von zwei NVIDIA RTX 3090 (48 GB VRAM gesamt) mit vLLM eine der effizientesten und beliebtesten Konfigurationen für das Self-Hosting großer Sprachmodelle (LLMs). Dank der ausgereiften Ampere-Architektur und optimierter Software bietet dieses Setup ein hervorragendes Preis-Leistungs-Verhältnis. Dieser Artikel untersucht die Leistung bei der Token-Verarbeitung, die Decodierungsgeschwindigkeit, die möglichen Modellgrößen, den KV-Cache-Speicher und die entscheidende Bedeutung der KV-Cache-Quantisierung – insbesondere für Programmieraufgaben.

Token-Verarbeitung und Decodierungsgeschwindigkeit

Mit vLLM nutzt das 2x-3090-Setup Tensor Parallelism (TP=2), um die Rechenlast zu verteilen. Die Leistung variiert je nach Modell und Quantisierungsart, aber typische Werte liegen bei 50–100+ Token pro Sekunde für Modelle der 27B–32B-Klasse (z. B. Qwen). Der Durchsatz bei gleichzeitigen Anfragen wird durch Continuous Batching maximiert, das die GPUs ständig auslastet. Der Hauptengpass ist die Speicherbandbreite (936 GB/s pro 3090), da die Inferenz speichergebunden ist. In Multi-User-Szenarien übertrifft vLLM andere Engines wie llama.cpp deutlich.

Modellgrößen und Quantisierung

Die 48 GB VRAM ermöglichen das Laden von Modellen, die auf eine einzelne GPU nicht passen. Modelle mit 70B Parametern können mit 4-Bit-Quantisierung (AWQ/GPTQ) ausgeführt werden, was etwa 40–42 GB belegt und Platz für den KV-Cache lässt. Die 4-Bit-Quantisierung der Gewichte ist Standard, um die Ausgabequalität zu erhalten und Speicher für den Cache freizugeben.

KV-Cache und seine Quantisierung

Der KV-Cache speichert vergangene Token, um teure Neuberechnungen zu vermeiden. Er ist der Hauptfaktor, der die Kontextfensterlänge begrenzt. Die Quantisierung des KV-Cache (typischerweise auf FP8) reduziert den Speicherverbrauch um 50 % im Vergleich zu FP16 und verdoppelt damit die handhabbare Kontextlänge (z. B. von 130K auf über 200K Token).

Warnung für Programmieraufgaben

Obwohl die KV-Cache-Quantisierung für allgemeine Chats oder Zusammenfassungen hervorragend geeignet ist, kann sie für Programmieraufgaben riskant sein. Die Codegenerierung erfordert extreme Präzision bei der Handhabung syntaktischer und logischer Abhängigkeiten über große Entfernungen. Eine zu aggressive Quantisierung kann zu syntaktischen Halluzinationen oder logischen Fehlern führen, da die Genauigkeit der gespeicherten Werte nachlässt. Für kritische Programmieraufgaben wird empfohlen, den KV-Cache in höherer Präzision (BF16/FP16) zu belassen, sofern die VRAM dies zulässt, oder adaptive Quantisierungstechniken zu verwenden.

Optimierung und Konfiguration

vLLM verwendet PagedAttention, das den KV-Cache in nicht zusammenhängenden Blöcken verwaltet und Speicherfragmentierung eliminiert. Dadurch können sehr lange Kontexte verarbeitet werden. Zur Maximierung der Leistung sollte --gpu-memory-utilization auf 0,90–0,95 gesetzt werden, um den Großteil der VRAM für den KV-Cache zu reservieren. Eine Überwachung ist erforderlich, um Out-of-Memory-Fehler bei Lastspitzen zu vermeiden.

Zusammenfassung

Das 2x-3090-Setup mit vLLM bleibt 2026 eine extrem leistungsfähige Lösung. Der Schlüssel zum Erfolg liegt in der Balance zwischen Gewichtsquantisierung (um das Modell unterzubringen) und sorgfältiger KV-Cache-Verwaltung (für die Kontextlänge). Besondere Vorsicht ist bei der KV-Cache-Quantisierung für Programmieraufgaben geboten. Mit den richtigen Einstellungen bietet diese Konfiguration eine hervorragende Leistung für Self-Hosting-LLMs.