AI分词器税与语言不平等
5 节点1 篇6 来源
AI模型存在一种隐性的“分词器税”，导致非英语用户支付更高费用并遭受性能降级。据Rest of World报道，由人工智能语言公平研究联盟（CLEAR）发布的最新研究显示，在处理相同内容时，部分非英语语言消耗的令牌数量是英语的1.5至17倍。这一差异源于主流大语言模型的分词器主要基于以英语为主的语料库训练，使得缅甸语、藏语等非拉丁文字被碎片化为更多字节单元。后果不仅是API调用成本激增，还包括响应延迟增加和有效上下文窗口大幅缩减，从而降低复杂推理任务的准确率。尽管学界早在2023年便指出此结构性偏见，但2026年的数据表明，随着长上下文模型的普及，这种语言间的不平等正进一步加剧全球南方开发者在算力获取上的劣势。
事情怎么走到这一步
牛津大学Aleksandar Petrov等人在NeurIPS 2023发表论文《Language Model Tokenizers Introduce Unfairness Between Languages》，首次系统量化了分词阶段引入的语言不公平，发现某些语言（如掸语）的令牌消耗量可达英语的15倍。
proceedings.neurips.cc ↗华盛顿大学Orevaoghene Ahia等人在EMNLP 2023发表《Do All Languages Cost the Same?》，分析OpenAI API定价，证实多语言用户因令牌膨胀而面临经济负担加重且模型效用降低的双重不公。
aclanthology.org ↗Lundin等人在AfricaNLP 2026发表《The Token Tax》，评估10个大模型在16种非洲语言上的表现，证明令牌生育率（token fertility）可靠地预测准确率，高令牌消耗直接导致低资源语言任务性能下降。
aclanthology.org ↗Thomas Serval发布预印本《The Invisible Language Tax》，更新2026年主流模型（如GPT-4o, Llama 3, Claude 3.5等）的分词溢价测量，指出法语比英语多耗31%-58%令牌，且中文并非天然更节省令牌。
arxiv.org ↗Rest of World报道CLEAR联盟最新研究，指出在互联网最流行的20种语言中，最高成本语言比最低成本语言多耗1.5至5倍令牌；在200种语言测试中差距达17倍，呼吁AI实验室重构分词器并发布分语言评估成绩单。