Prompt-Verarbeitung und GPU-Geschwindigkeit

Prompt-Verarbeitung und GPU-Geschwindigkeit

Wenn Sie einen Prompt an ein KI-Modell senden, laufen zwei unterschiedliche Phasen ab. Zuerst verarbeitet das Modell Ihre gesamte Eingabe und analysiert alle Wörter gleichzeitig. Dann wechselt es zur Antwortgenerierung Token für Token. Diese beiden Phasen haben sehr unterschiedliche Hardwareanforderungen.

Während der Prompt-Verarbeitung nimmt das Modell die gesamte Eingabe und führt sie parallel durch das Netzwerk. Dies ist eine rechenintensive Arbeitslast, die die Rechenkerne der GPU maximal auslastet. Je mehr TFLOPS die GPU hat, desto schneller verarbeitet sie den Prompt.

Deshalb skaliert die Prompt-Verarbeitungsgeschwindigkeit mit der GPU-Rechenleistung. Die H100 mit 2000 TFLOPS verarbeitet Prompts viel schneller als eine RTX 4090 mit 330 TFLOPS. Bei langen Prompts ist dieser Unterschied dramatisch.

Nach der Prompt-Verarbeitung wechselt das Modell in den Token-Generierungsmodus. Dies ist eine Arbeitslast, die durch die Speicherbandbreite begrenzt wird, nicht durch die Rechenleistung. Jeder Token erfordert das Lesen aller Modellgewichte aus dem Speicher.

Diese Aufteilung erklärt einige kontraintuitive Verhaltensweisen. Eine GPU könnte Prompts sehr schnell verarbeiten, aber Token langsam generieren, oder umgekehrt. Für Anwendungen mit langen Prompts priorisieren Sie die Rechenleistung. Für interaktive Gespräche mit vielen generierten Token priorisieren Sie die Speicherbandbreite.