Speicherbandbreite: Das Geschwindigkeitslimit der KI

Speicherbandbreite: Das Geschwindigkeitslimit der KI

Wenn über KI-Geschwindigkeit gesprochen wird, konzentriert man sich oft auf den Prozessor. Aber für die meisten Anwendungen ist der wahre Engpass nicht die Rechengeschwindigkeit, sondern die Speicherbandbreite. Dies ist eines der wichtigsten Konzepte, um zu verstehen, warum einige Hardware schneller ist als andere.

Speicherbandbreite ist die Geschwindigkeit, mit der Daten vom Speicher zum Prozessor bewegt werden können. Für die Inferenz von Sprachmodellen muss das Modell selbst in den Speicher des Prozessors geladen werden. Jeder generierte Token erfordert, dass alle Gewichte des Modells aus dem Speicher gelesen werden. Wenn der Speicher langsam ist, verlangsamt sich der gesamte Prozess.

Deshalb ist die Speicherbandbreite so wichtig. Die GPU kann Matrixmultiplikationen fast augenblicklich durchführen, muss aber warten, bis die Daten aus dem Speicher ankommen. Es ist wie ein Ferrari-Motor in einem Auto mit Fahrradrädern: Der Motor ist bereit, aber die Räder können nicht mithalten.

Verschiedene Hardware hat sehr unterschiedliche Speicherbandbreiten. Eine Consumer-GPU wie die RTX 4090 hat etwa 1 TB/s Bandbreite. Eine Data-Center-GPU wie die H100 hat etwa 3,35 TB/s. DDR5-Systemspeicher ist viel langsamer, etwa 50-100 GB/s. Deshalb sind GPUs für KI viel schneller als CPUs.

Die Beziehung ist einfach: Für LLM-Inferenz ist die Geschwindigkeit proportional zur Speicherbandbreite geteilt durch die Modellgröße. Ein 7B-Modell in 4-Bit ist etwa 3,5 GB. Mit 1 TB/s können Sie etwa 285 Token pro Sekunde generieren. In der Praxis ist die tatsächliche Leistung aufgrund anderer Overheads geringer, aber diese grundlegende Gleichung sagt Ihnen, was Sie erwarten können.