Prompt Processing vs. Decoding: Rechenleistung vs. Speicherbandbreite in der KI-Inferenz

Verständnis des Unterschieds zwischen Prompt Processing und Decoding in der KI-Inferenz

Die Inferenz eines großen Sprachmodells (LLM) durchläuft zwei grundlegend unterschiedliche Phasen: das Prompt Processing (auch Prefill genannt) und das Decoding. Jede Phase hat ihre eigenen Anforderungen an die Hardware und ihre eigenen Engpässe. Das Verständnis dieser Unterschiede ist entscheidend für die Optimierung von KI-Infrastrukturen, da die Wahl der GPU oder des Beschleunigers je nach dominierender Arbeitslast stark variieren kann.

1. Prompt Processing (Prefill): Rechenintensiv

In dieser Phase wird der gesamte Benutzer-Prompt auf einmal verarbeitet. Das Modell führt Matrix-Matrix-Multiplikationen (GEMM) durch, da alle Tokens des Prompts parallel berechnet werden können. Dies ist eine rechenintensive (compute-bound) Aufgabe: Die Anzahl der erforderlichen Gleitkommaoperationen (FLOPs) skaliert quadratisch mit der Prompt-Länge, insbesondere durch die Attention-Berechnung. Eine GPU mit hohen TFLOPS (Billionen Gleitkommaoperationen pro Sekunde) ist hier entscheidend. Bei langen Prompts kann eine unzureichende Rechenleistung zu Verzögerungen von Sekunden oder sogar Minuten führen, bevor das erste Token generiert wird (Time to First Token, TTFT).

2. Decoding (Token-Generierung): Speicherbandbreiten-intensiv

Nach dem Prefill generiert das Modell die Antwort Token für Token. Jeder neue Token hängt von den vorherigen ab, sodass keine Parallelisierung über mehrere Ausgabe-Tokens möglich ist. Die Berechnung besteht hauptsächlich aus Matrix-Vektor-Multiplikationen (GEMV). Diese Phase ist speicherbandbreiten-intensiv (memory-bound): Für jeden einzelnen Token muss die GPU das gesamte Modellgewicht (Milliarden von Parametern) aus dem VRAM in die Rechenkerne laden. Da die Anzahl der Operationen pro geladenem Byte sehr gering ist (niedrige arithmetische Intensität), verbringt die GPU die meiste Zeit mit Warten auf Daten, nicht mit Rechnen. Eine hohe Speicherbandbreite (z. B. HBM3) ist daher der entscheidende Faktor für eine schnelle Token-Generierung.

Wichtige Unterschiede auf einen Blick

Implikationen für die Infrastrukturoptimierung

Diese Unterscheidung hat direkte Auswirkungen auf die Auswahl und Konfiguration von KI-Servern. Für Anwendungen mit sehr langen Prompts (z. B. Dokumentenanalyse, Code-Review) sind GPUs mit hoher Rechenleistung (wie NVIDIA H100 oder AMD MI300X) für den Prefill-Teil vorteilhaft. Für Echtzeit-Chat-Anwendungen, bei denen viele Tokens generiert werden, ist eine hohe Speicherbandbreite entscheidend. Einige Systeme verwenden sogar separate Hardware für die beiden Phasen oder optimieren durch Techniken wie KV-Cache-Kompression und spekulative Dekodierung. Das Verständnis der grundlegenden Engpässe hilft Entwicklern und Betreibern, die richtige Balance zwischen Kosten und Leistung zu finden.

Zusammenfassend lässt sich sagen: Prompt Processing ist eine Herausforderung der rohen Rechenleistung (TFLOPS), während Decoding eine Herausforderung des Datentransfers (Speicherbandbreite) ist. Beide Phasen müssen für eine effiziente LLM-Inferenz optimiert werden.