IT之家 10 月 30 日消息，使用人数较少的语言的用户，使用 AI 服务时，可能需要支付比英语及其他主流语言用户更高的费用。
当地时间 28 日，据外媒 Rest of World 报道，人工智能语言公平研究联盟上月发布的一项研究发现，AI 模型处理不同语言时，消耗的 Token（词元）数量可能相差悬殊。
Token 是 AI 模型处理文本等数据的基本单位，由分词器将文本、图像或音频拆分而成。研究人员将不同语言因此产生的额外成本称为隐性的“分词器税”，网络内容较少的语言尤其容易受到影响。
研究发现，即使是互联网上最常用的 20 种语言，Token 消耗量也存在明显差异，最高是最低的 1.5 至 5 倍。如果将测试范围扩大到 200 种语言，差距还会进一步扩大。在其中一个 AI 模型中，不同语言的 Token 消耗量最多相差 17 倍。
研究报告指出，班加罗尔的一家初创企业每次向 AI 输入指令、获取回答时，都可能比奥斯汀的竞争对手付出更高的成本。“分词器税”带来的问题还不只是费用上涨。消耗的 Token 越多，AI 响应就越慢，能够有效处理的上下文内容也越少。
计算资源和网络条件本就有限的地区受到的影响尤其严重。分词处理上的不平等，也限制了人们参与 AI 经济的机会。
印度首家专注 AI 投资的风险投资基金 Activate AI 联合创始人普拉蒂尤什 · 乔杜里指出，使用非英语语言时，同样的上下文容量能够容纳的文档和对话记录更少，AI 生成回答也更加费力。
乔杜里以教学为例解释道：“老师要想教好学生，就得记住学生以前犯过什么错误、接受过哪些讲解。如果使用某种语言时，这些历史记录很快就占满了上下文窗口，最终连教学质量都会受到影响。”
乔杜里认为，语言处理效率应当像准确性、速度和可靠性一样，成为 AI 产品的基本要求。“要求所有语言获得完全平等的待遇或许不现实，但长期存在的巨大差距仍需合理解释，并制定改进计划。我希望所有主要 AI 实验室都能公布各语言的评估结果，说明使用不同语言完成相同难度的任务分别需要花多少钱，并承诺改善支持最薄弱的语言，取得可以量化的进展。”
IT之家从报道中获悉，改善这一问题的办法之一，是提高底层数据的质量。
孟买 AI 语音基础设施初创企业 Navana.ai 联合创始人兼 CEO 拉乌尔 · 纳纳瓦蒂认为：“开放数据项目在这方面很重要。比如我们与印度科学学院合作、由盖茨基金会资助的 RESPIN 项目，就收集了 38 种方言母语使用者提供的文本和朗读录音。”
不过，人工智能语言公平研究联盟发现，决定 Token 消耗量的并不只有一种语言的使用人数，采用什么文字同样重要。
例如，阿斯图里亚斯语的使用者不多，在 Common Crawl 数据集中也没有收录，但拉丁字母为其带来了优势。意大利语等同属罗曼语族的语言在数据中有所覆盖，也让阿斯图里亚斯语受益。
Maya Research CEO 迪曼特 · 雷迪指出，现有许多分词器仍然主要针对英语等数据资源丰富的语言进行优化，根本问题在于缺乏高质量的数字化数据。
雷迪强调，改善训练数据本身还不够：“Token 价格下降得很快，费用差异造成的直接影响应该会逐渐减轻。更好的多语言数据和合成数据也有助于提高模型质量。但要真正缩小不同语言之间的分词差距，AI 实验室仍然需要专门改进下一代分词器的设计，让它们更好地处理这些语言和文字。”