Tokenisierung: Wie KI Text liest

Tokenisierung: Wie KI Text liest

KI-Modelle lesen Text nicht so wie Menschen. Sie können Buchstaben und Wörter nicht als bedeutungsvolle Symbole sehen. Stattdessen wandeln sie Text in Zahlen um, und der erste Schritt in diesem Prozess heißt Tokenisierung. Token zu verstehen ist wesentlich, um zu verstehen, wie Sprachmodelle funktionieren und wo ihre Grenzen liegen.

Ein Token ist ein Textstück. Es kann ein Wort, ein Teil eines Wortes oder sogar ein einzelnes Zeichen sein. Zum Beispiel könnte das Wort Verständnis in drei Token aufgeteilt werden: Ver, ständ, und nis. Das Wort Katze könnte ein einzelner Token sein. Das Modell hat einen Wortschatz, typischerweise 32.000 bis 128.000 Token, die es zu verarbeiten weiß. Alles außerhalb dieses Wortschatzes wird in kleinere Stücke zerlegt.

Die Tokenisierung beeinflusst alles, wie ein Modell funktioniert. Die Anzahl der Token bestimmt, wie viel Text das Modell auf einmal verarbeiten kann, das ist das Kontextfenster. Sie bestimmt auch, wie schnell das Modell Ausgaben generiert, weil Modelle einen Token nach dem anderen generieren. Ein Modell, das 100 Token pro Sekunde generiert, produziert etwa 75 Wörter pro Sekunde, schneller als die meisten Menschen lesen können.

Verschiedene Sprachen werden unterschiedlich tokenisiert. Englisch ist sehr effizient, weil die meisten Modelle hauptsächlich mit englischem Text trainiert werden. Ein Wort wie der ist ein einzelner Token. Aber in anderen Sprachen könnte dieselbe Bedeutung viele weitere Token erfordern. Das bedeutet, dass Modelle für nicht-englische Sprachen langsamer und teurer in der Nutzung sind und möglicherweise auch schlechter abschneiden, weil die Tokenisierung Wörter auf weniger natürliche Weise aufteilt.

Die Tokenisierung erzeugt auch einige Eigenheiten. Modelle könnten bei einfachen Aufgaben wie dem Zählen von Buchstaben in einem Wort Schwierigkeiten haben, weil sie keine einzelnen Buchstaben sehen, sondern Token. Ein Modell könnte nicht wissen, dass Erdbeere drei e hat, weil es Erdbeere als einzelnen Token sieht. Dies ist kein Zeichen von Dummheit, sondern eine grundlegende Einschränkung der Art und Weise, wie das Modell Text verarbeitet.