研究称非英语语言消耗更多AI令牌，形成“分词器税”

据《Rest of World》2026年10月26日报道，一项由“AI研究语言公平联盟”（Coalition for Language Equity in AI Research）进行的研究显示，不同语言在调用大模型时消耗的令牌数量差异巨大，形成了所谓的“分词器税”。

研究发现，在互联网最常用的20种语言中，最昂贵的语言比最便宜的消耗多1.5到5倍的令牌。当样本扩大到200种语言时，这一差距在某些模型中甚至达到17倍。缅甸语、藏语、提非纳文、高棉语、老挝语和奥里奇语等使用非拉丁字母脚本的语言，在几乎所有模型中都处于劣势。

这种差异不仅影响价格，还导致延迟增加和有效上下文窗口缩小。例如，同样的句子用马拉雅拉姆语输入，可能被拆分成更多碎片，从而占用更多计算资源。尽管此前已有学术工作记录过类似现象，但该研究提供了更广泛的跨语言量化数据，强调了AI基础设施中的结构性不平等。