Q-, K- und V-Vektoren in Transformer-Modellen verstehen

In der modernen künstlichen Intelligenz, insbesondere in der Verarbeitung natürlicher Sprache, ist die Transformer-Architektur zum Rückgrat von Modellen wie GPT, BERT und vielen anderen geworden. Im Kern dieser Architektur liegt der Aufmerksamkeitsmechanismus, der auf drei Schlüsselvektoren basiert: Query (Q), Key (K) und Value (V). Dieser Artikel erklärt, wie diese Vektoren aus Token abgeleitet werden, wie sie während der Prompt-Verarbeitung verwendet werden und wie Multi-Head-Attention und All-Reduce-Operationen funktionieren, um die endgültige Ausgabe zu erzeugen.

Von Wörtern zu Token und Embeddings

Der erste Schritt bei der Textverarbeitung besteht darin, jedes Wort (oder Unterwort) in einen Token umzuwandeln. Das Vokabular des Modells enthält eine feste Menge von Token, jeder mit einer eindeutigen ganzzahligen ID. Sobald der Eingabesatz in Token aufgeteilt ist, wird jeder Token auf einen dichten Vektor abgebildet, der als Embedding bezeichnet wird. Dieses Embedding ist eine hochdimensionale Darstellung (z. B. 512 oder 768 Dimensionen), die die semantische Bedeutung des Tokens erfasst. Diese Embeddings werden während des Trainings gelernt und in einer Embedding-Matrix gespeichert.

Ableitung von Query-, Key- und Value-Vektoren

Um den Aufmerksamkeitsmechanismus zu ermöglichen, wird das Embedding jedes Tokens in drei verschiedene Vektoren umgewandelt: Query, Key und Value. Dies geschieht durch Multiplikation des Embedding-Vektors mit drei gelernten Gewichtsmatrizen: Wq, Wk und Wv. Diese Matrizen sind Parameter des Modells, die während des Trainings aktualisiert werden. Die resultierenden Vektoren haben eine kleinere Dimension (oft als d_k bezeichnet) im Vergleich zur ursprünglichen Embedding-Dimension, was eine effiziente Berechnung ermöglicht.

Der Query-Vektor (Q) repräsentiert, wonach der Token im Kontext 'sucht'. Der Key-Vektor (K) repräsentiert, was der Token als 'Etikett' bietet. Der Value-Vektor (V) enthält die tatsächlichen Informationen, die aggregiert werden. Der Aufmerksamkeitsmechanismus bestimmt, wie stark jeder Token auf andere achten soll, indem er Abfragen mit Schlüsseln vergleicht.

Der Selbstaufmerksamkeitsmechanismus

Sobald wir Q, K und V für jeden Token in der Sequenz haben, berechnet der Selbstaufmerksamkeitsmechanismus die Aufmerksamkeitswerte. Für einen bestimmten Token wird seine Query mit den Keys aller Token in der Sequenz multipliziert (Skalarprodukt). Die resultierenden Werte geben die Relevanz jedes Tokens für den aktuellen an. Diese Werte werden dann skaliert, indem sie durch die Quadratwurzel der Dimension der Keys (d_k) geteilt werden, um Gradienten zu stabilisieren. Als nächstes wird eine Softmax-Funktion angewendet, um die Werte in Wahrscheinlichkeiten umzuwandeln, die sich zu 1 summieren. Schließlich werden die Wahrscheinlichkeiten verwendet, um eine gewichtete Summe der Value-Vektoren zu berechnen, wodurch ein neuer kontextbewusster Vektor für den Token entsteht.

Dieser Prozess wird parallel für alle Token in der Sequenz durchgeführt, was ihn äußerst effizient macht. Die neuen Vektoren werden dann durch ein Feed-Forward-Neuronales Netzwerk und weitere Schichten geleitet, wodurch nach und nach eine reichhaltige Darstellung der Eingabe aufgebaut wird.

Prompt-Verarbeitung und schichtweise Berechnung

Während der Prompt-Verarbeitung (der anfänglichen Kodierung der Eingabe) wird die gesamte Sequenz von Token gleichzeitig verarbeitet. Die Embeddings werden in Q, K, V umgewandelt und die Selbstaufmerksamkeit wird für jeden Token berechnet. Dies wird über alle Schichten (typischerweise 12, 24 oder mehr) des Transformers wiederholt. Jede Schicht verfeinert die Darstellungen, sodass das Modell komplexe Abhängigkeiten wie weitreichende Beziehungen, Syntax und Semantik erfassen kann. Die Ausgabe der letzten Schicht liefert ein kontextualisiertes Embedding für jeden Token.

Inferenz: Hinzufügen eines neuen Tokens

Bei der Texterzeugung (Inferenz) erzeugt das Modell jeweils einen Token. Für den neuen Token wird nur sein Embedding berechnet. Dann wird seine Query abgeleitet. Um die Aufmerksamkeit zu berechnen, benötigt das Modell die Keys und Values aller vorherigen Token. Diese werden in einer Struktur namens KV-Cache gespeichert, die eine Neuberechnung vermeidet. Die Query des neuen Tokens wird mit allen zwischengespeicherten Keys multipliziert, die Softmax wird angewendet und die gewichtete Summe der zwischengespeicherten Values wird berechnet. Dies erzeugt einen neuen Kontextvektor für den neuen Token, der dann durch die verbleibenden Schichten und schließlich eine Klassifikationsschicht (Softmax über das Vokabular) geleitet wird, um das nächste Wort auszuwählen.

Dieser inkrementelle Ansatz ist effizient, da die aufwändigen Berechnungen für vorherige Token wiederverwendet werden. Der KV-Cache wird nach jedem Erzeugungsschritt mit dem Key und Value des neuen Tokens aktualisiert.

Multi-Head-Attention und All-Reduce

Um verschiedene Arten von Beziehungen (z. B. syntaktische, semantische, referenzielle) gleichzeitig zu erfassen, verwenden Transformatoren Multi-Head-Attention. Anstatt eine einzelne Aufmerksamkeitsoperation durchzuführen, teilt das Modell die Q-, K- und V-Vektoren in mehrere kleinere Köpfe auf (üblicherweise 8, 12 oder 16). Jeder Kopf lernt, sich auf verschiedene Aspekte der Eingabe zu konzentrieren. Die Köpfe arbeiten parallel, jeder berechnet seinen eigenen Aufmerksamkeitsmechanismus in einem Unterraum der Vektoren.

Nachdem jeder Kopf seine Ausgabe erzeugt hat, werden die Ausgaben wieder zu einem einzigen Vektor der ursprünglichen Dimension zusammengefügt. Dieser zusammengefügte Vektor wird dann mit einer Ausgabeprojektionsmatrix (oft als Wo bezeichnet) multipliziert, um die Informationen aus allen Köpfen zu kombinieren. Dieser letzte Schritt entspricht einer All-Reduce-Operation: Er führt die parallelen Berechnungen zu einer einheitlichen Darstellung zusammen. Das All-Reduce stellt sicher, dass das Modell von der verteilten Lernfähigkeit über die Köpfe profitiert, während eine einzige kohärente Ausgabe für die nächste Schicht erhalten bleibt.

Fazit

Die Query-, Key- und Value-Vektoren sind grundlegend für den Aufmerksamkeitsmechanismus in Transformatoren. Sie ermöglichen es dem Modell, die Bedeutung jedes Tokens im Kontext dynamisch zu gewichten, was ein leistungsstarkes Sprachverständnis und eine leistungsstarke Generierung ermöglicht. Der Prozess der Ableitung dieser Vektoren, der Berechnung der Aufmerksamkeit und der Nutzung von Multi-Head-Parallelisierung mit All-Reduce ist das, was moderne KI-Modelle so effektiv macht. Das Verständnis dieser Konzepte ist für jeden, der mit großen Sprachmodellen arbeitet oder sie studiert, unerlässlich.