Neue Techniken in der KI

Neue Techniken in der KI

Die KI-Forschung macht unglaublich schnelle Fortschritte, und ständig verbessern neue Techniken die Art und Weise, wie Modelle gebaut und trainiert werden. Wenn Sie diese Innovationen verstehen, können Sie besser nachvollziehen, wie sich das Feld entwickelt und was Sie von zukünftigen Modellen erwarten können.

Grouped Query Attention (GQA) ist eine Verbesserung gegenüber der standardmäßigen Multi-Head Attention. Anstatt dass jeder Aufmerksamkeitskopf seine eigenen Schlüssel und Werte hat, teilen sich Gruppen von Köpfen diese. Dies reduziert die Größe des KV-Cache erheblich, ohne die Qualität zu beeinträchtigen. GQA wird in Llama 2 und 3, Mistral und vielen anderen modernen Modellen verwendet. Es ist ein Hauptgrund, warum diese Modelle lange Kontexte effizient verarbeiten können.

Multi-Query Attention (MQA) geht noch einen Schritt weiter, indem alle Aufmerksamkeitsköpfe einen einzigen Satz von Schlüsseln und Werten gemeinsam nutzen. Dies reduziert die Speichernutzung noch weiter, kann aber die Qualität leicht beeinträchtigen. Modelle wie Falcon und PaLM verwenden MQA. Der Trend geht hin zu GQA als einem guten Mittelweg, der Speichereffizienz und Modellqualität in Einklang bringt.

Rotary Position Embedding (RoPE) ist zur Standardmethode geworden, um Positionsinformationen in Transformatoren zu kodieren. Im Gegensatz zu älteren Methoden, die Positionsinformationen zum Input hinzufügten, modifiziert RoPE den Aufmerksamkeitsmechanismus selbst, um die Position zu berücksichtigen. Dies ermöglicht es Modellen, Sequenzen variabler Länge natürlicher zu verarbeiten, und hat die Erweiterung der Kontextfenster auf Hunderttausende von Token ermöglicht.

Flash Attention ist eine Softwaretechnik, die die Berechnung der Aufmerksamkeit neu anordnet, um sie viel speichereffizienter zu machen. Anstatt die gesamte Aufmerksamkeitsmatrix zu speichern, die quadratisch mit der Kontextlänge skaliert, berechnet Flash Attention die Aufmerksamkeit in Blöcken, die in den schnellen On-Chip-Speicher passen. Dies kann die Speichernutzung um das Zehnfache oder mehr reduzieren und macht lange Kontextfenster praktikabel. Es ist jetzt in allen wichtigen Trainings- und Inferenz-Frameworks Standard.