分词：AI如何读取文本

分词：AI如何读取文本

AI模型不像人类那样阅读文本。它们不能将字母和单词视为有意义的符号。相反，它们将文本转换为数字，这个过程中的第一步称为分词。理解token对于理解语言模型的工作方式及其局限性至关重要。

token是文本的块。它可以是一个单词、单词的一部分，甚至是一个字符。例如，单词“understanding”可能被分成三个token：“under”、“stand”和“ing”。单词“cat”可能是一个单独的token。模型有一个词汇表，通常是32,000到128,000个token，它知道如何处理。在该词汇表之外的任何内容都会被分割成更小的部分。

分词影响模型性能的方方面面。token数量决定了模型一次可以处理多少文本，即上下文窗口。它还决定了模型生成输出的速度，因为模型一次生成一个token。每秒生成100个token的模型大约每秒产生75个单词，比大多数人的阅读速度还要快。

不同语言的分词方式不同。英语非常高效，因为大多数模型主要是在英语文本上训练的。像“the”这样的单词是一个单独的token。但在其他语言中，相同的含义可能需要更多的token。这意味着对于非英语语言，模型使用起来更慢、更昂贵，而且由于分词以不太自然的方式分割单词，它们的性能也可能更差。

分词也会产生一些怪癖。模型可能难以完成计算单词中字母数量这样的简单任务，因为它们看不到单个字母，只看到token。模型可能不知道“strawberry”有三个r，因为它将“strawberry”视为一个单独的token。这不是愚蠢的迹象，而是模型处理文本方式的根本限制。