Gleitkommaformate: BF16, FP8, INT8
Gleitkommaformate: BF16, FP8, INT8
KI-Modelle speichern ihre Gewichte und führen Berechnungen mit verschiedenen Zahlenformaten durch. Die gebräuchlichsten sind FP16, BF16, FP8 und INT8. FP16 war jahrelang der Standard. Jede Zahl verwendet 16 Bits. Ein 7B-Modell in FP16 benötigt etwa 14 GB Speicher.
BF16 wurde von Google entwickelt. Es verwendet dieselben 16 Bits wie FP16, weist aber mehr Bits dem Exponenten zu. Es kann einen größeren Zahlenbereich darstellen, nützlich für Training, mit etwas geringerer Präzision.
FP8 ist ein neueres Format, das nur 8 Bits pro Zahl verwendet. Es gibt zwei Varianten: E4M3 priorisiert den Bereich, E5M2 die Präzision. FP8 wird hauptsächlich auf neuesten GPUs wie H100 und Blackwell verwendet.
INT8 ist ein 8-Bit-Ganzzahlformat, das in der Quantisierung verwendet wird. Jeder Wert ist eine einfache ganze Zahl. INT8 erfordert sorgfältige Kalibrierung, um die ursprünglichen Werte ohne zu großen Informationsverlust abzubilden.
Die Wahl des Formats hängt vom Gleichgewicht zwischen Geschwindigkeit, Speicher und Qualität ab. Für Inferenz bieten FP8 und INT8 den besten Kompromiss für die meisten Anwendungsfälle.
Lassen Sie uns zusammenarbeiten
Benötigen Sie weitere Informationen, Hilfe bei Ihrem Projekt oder zur Entwicklung einer Idee?
Ob einfache Frage, kurzer Zweifel oder ein 5-Minuten-Chat, schreib mir einfach—es kostet nichts und ich helfe immer gerne. Ich liebe es, Probleme zu verstehen, kreative Lösungen zu finden und mich auf einfache, zuverlässige und unkomplizierte Ideen zu konzentrieren, die sich schnell umsetzen lassen.
Kontaktiere mich →