Token-Generierungsgeschwindigkeit und Bandbreite
Token-Generierungsgeschwindigkeit und Bandbreite
Die Token-Generierung ist die Phase, in der das Modell Ausgabe produziert, ein Token nach dem anderen. Grundgleichung: Token-Geschwindigkeit = Speicherbandbreite / Modellgröße. RTX 4090 (1 TB/s, 7B 4-bit = 285 Token/s).
Praxisbeispiele: RTX 4090, H100 (3.35 TB/s, 70B 4-bit = 95 Token/s), M2 Ultra (800 GB/s, 7B 4-bit = 228 Token/s). Batch-Größe ist wichtig: mehrere Prompts zusammen verarbeiten erhöht den Durchsatz, aber auch die Latenz.
Für interaktive Nutzung wie Chatbots priorisieren Sie niedrige Latenz mit kleinen Batches. Für Inferenzserver maximieren größere Batches den Gesamtdurchsatz.
Komprimierung wie Quantisierung reduziert die Modellgröße und erhöht direkt die Geschwindigkeit. Ein 70B-Modell in 8-Bit = 70 GB, bei 1 TB/s = 14 Token/s. In 4-Bit = 35 GB, bei 1 TB/s = 28 Token/s.
Faustregel: Verdoppelung der Bandbreite oder Halbierung der Modellgröße verdoppelt die Geschwindigkeit.
Lassen Sie uns zusammenarbeiten
Benötigen Sie weitere Informationen, Hilfe bei Ihrem Projekt oder zur Entwicklung einer Idee?
Ob einfache Frage, kurzer Zweifel oder ein 5-Minuten-Chat, schreib mir einfach—es kostet nichts und ich helfe immer gerne. Ich liebe es, Probleme zu verstehen, kreative Lösungen zu finden und mich auf einfache, zuverlässige und unkomplizierte Ideen zu konzentrieren, die sich schnell umsetzen lassen.
Kontaktiere mich →