arXiv · cs.AI· Ben Gubler·· 1 天前
Tokka-Bench：跨100种自然语言和20种编程语言评测分词器
Tokka-Bench: Evaluating Tokenizers Across 100 Natural and 20 Programming Languages
arXiv:2610.08794v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Ben Gubler
研究任务与主要进展
论文提出开源分词器评测框架Tokka-Bench，以每词元字节数、唯一词元覆盖率、子词生育率、切词率和词表构成五项指标，评测100种自然语言和20种编程语言。摘要称，对GPT-2、GPT-4、gpt-oss、Llama 3.1、Gemma 3、Qwen3和Kimi K2的比较表明，词表分配策略比词表规模更重要，近期分词器的编程语言效率趋于相近，但自然语言表现不同。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org