Tokka-Bench评测百种语言分词器

Ben Gubler提出并开源Tokka-Bench，以每词元字节数、唯一词元覆盖率、子词生育率、切词率和词表构成五项指标，评测100种自然语言、30余种文字系统及20种编程语言中的分词器，并公开框架、数据和交互式看板。 论文摘要称，在逐语言比较GPT-2、GPT-4、gpt-oss、Llama 3.1、Gemma 3、Qwen3和Kimi K2七种BPE分词器后，词表分配策略比词表规模更重要；近期分词器对编程语言的效率趋于相近，但自然语言表现仍有差异。该评测采用适配不同文字系统的语言感知切分。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。