上周开会，同事介绍智能体，顺带还说了好多AI新词，然后我才发现我好多概念都是错误的。
比如我经常听到说“做这个视频我烧了多少token”、“买Token花了多少钱”之类的话。在我心目中，Token就是类似于让AI给我干活的货币。近期，“Token”翻译成“词元”，我以为这个“元”，是“银元”的“元”。但是实际上，Token是一个个“语料”，是能让大模型理解和生成文字的最小单位。这个“元”，可以理解成“元素”的“元”。
中国人从小就学组词造句。那么我们从小的词语和AI理解的token是不是一样的呢？欧美人的单词，和Token又是不是一样的呢？
实际上，AI只看出现的频率，并不按我们小学学的“词”来切分。高频的词语，可能一个词是1个Token；中频和低频的词语，AI可能将其拆分2个或者更多的token。欧美人说的单词，虽然词和词中间有空格，也不等于是一个token。比如unblievable，AI不会当整体，而是切成 un + believ + able（3个Token）。这样，AI学会 un 和 able 后，遇到 unlockable 也能秒懂，不用死记硬背整个单词。
一个低频词，某天突然成了热门，消耗的token会不会变少呢？对现在的模型来说，这种“语言变迁”只会影响下一代大模型的训练。目前主流大模型的词表大小，基本被工程师锁死在 3万 ~ 10万个 左右。而这个高频词表，也会不断进化。如果一个网络热词不流行了，它也会被狠狠抛弃。比如23年初“泰裤辣”爆火，它就被收进了GPT-4.5，成为一个Token。到了2024年，已经没人说这个词，2025年底发布的GPT-6，“泰裤辣”又被重新拆成“泰”+“裤”+“辣”三个Token。