AIの新技術

AIの新技術

AI研究は信じられないほど速いペースで進んでおり、新しい技術によってモデルの構築方法やトレーニング方法が常に改善されています。これらの革新を理解することで、この分野の進化の様子や将来のモデルに何を期待すべきかを理解する助けになります。

グループ化クエリアテンション（GQA）は、標準的なマルチヘッドアテンションを改良したものです。各アテンションヘッドが独自のキーと値を持つ代わりに、ヘッドのグループがそれらを共有します。これにより、品質を犠牲にすることなくKVキャッシュサイズを大幅に削減できます。GQAはLlama 2や3、Mistral、その他多くの最新モデルで使用されています。これが、これらのモデルが長いコンテキストを効率的に処理できる重要な理由です。

マルチクエリアテンション（MQA）はさらに進んでおり、すべてのアテンションヘッドが単一のキーと値のセットを共有します。これによりメモリ使用量はさらに削減されますが、品質が若干低下する可能性があります。FalconやPaLMなどのモデルがMQAを使用しています。トレンドは、メモリ効率とモデル品質のバランスが取れた良質な中間点としてのGQAに向かっています。

ロータリー位置埋め込み（RoPE）は、トランスフォーマーで位置情報をエンコードする標準的な方法になりました。入力に位置情報を追加する従来の方法とは異なり、RoPEはアテンションメカニズム自体を変更して位置を考慮します。これにより、モデルは可変長のシーケンスをより自然に処理でき、コンテキストウィンドウを数十万トークンにまで拡張することが可能になりました。

フラッシュアテンションは、アテンション計算をよりメモリ効率的にするために並べ替えるソフトウェア技術です。コンテキスト長に応じて二次関数的にスケーリングする完全なアテンションマトリックスを保存する代わりに、フラッシュアテンションは高速なオンチップメモリに収まるブロックでアテンションを計算します。これによりメモリ使用量を10倍以上削減でき、長いコンテキストウィンドウを実用的にします。現在では、主要なトレーニングおよび推論フレームワークすべてで標準となっています。