トークナイゼーション：AIがテキストを読む方法

トークナイゼーション：AIがテキストを読む方法

AIモデルは人間のようにテキストを読みません。文字や単語を意味のある記号として見ることはできません。代わりに、テキストを数値に変換します。その最初のステップがトークナイゼーションと呼ばれます。トークンを理解することは、言語モデルの仕組みとその限界を理解するために不可欠です。

トークンはテキストの断片です。単語、単語の一部、あるいは単一の文字の場合もあります。例えば、「understanding」という単語は「under」「stand」「ing」の3つのトークンに分割されるかもしれません。「cat」という単語は単一のトークンかもしれません。モデルは通常32,000から128,000トークンの語彙を持っており、それを処理する方法を知っています。その語彙の外にあるものは、より小さな断片に分割されます。

トークナイゼーションはモデルのパフォーマンスのすべてに影響します。トークン数は、モデルが一度に処理できるテキスト量（コンテキストウィンドウ）を決定します。また、モデルが出力を生成する速度も決定します。モデルは一度に1トークンを生成するからです。毎秒100トークンを生成するモデルは、毎秒約75語を生成しており、これはほとんどの人が読むよりも速いです。

言語によってトークナイゼーションは異なります。ほとんどのモデルは主に英語のテキストで訓練されているため、英語は非常に効率的です。「the」のような単語は1トークンです。しかし、他の言語では、同じ意味を表すためにはるかに多くのトークンが必要になる場合があります。これは、非英語言語ではモデルの使用が遅く、コストが高くなり、トークン化が単語をより不自然な方法で分割するためパフォーマンスも低下する可能性があることを意味します。

トークナイゼーションはいくつかの癖も生み出します。モデルは単語内の文字を数えるような単純なタスクに苦労するかもしれません。なぜなら、個々の文字ではなくトークンを見ているからです。モデルは「strawberry」を1つのトークンとして見るため、strawberryに3つのrがあることを知らないかもしれません。これは愚かさの兆候ではなく、モデルがテキストを処理する方法の根本的な制限です。