ttok 1.0切换默认分词器
热点事件持续更新
ttok 1.0切换默认分词器
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
Simon Willison 发布 ttok 1.0，将默认分词器从 GPT-4 调整为 GPT-5/GPT-6。William Liu 的实验显示，GPT-5.5、5.6 的 Sol/Terra/Luna 及 GPT-6 的 Astra/Sol/Luna 共7个模型，在31个测试样本上均报告44,794 tokens，计数完全一致；在这组语料中，GPT-6 未增加输入计数。不过，OpenAI 尚未确认 GPT-6 是否沿用 GPT-5 系列分词器。
AI 根据报道生成 · 3 小时前更新
最新进展10月9日 08:34
ttok 1.0：默认分词器调整至 GPT-5/GPT-6报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- Simon Willisonttok 1.0：默认分词器调整至 GPT-5/GPT-6
Simon Willison 发布 ttok 1.0，将默认分词器从 GPT-4 调整为 GPT-5/GPT-6。William Liu 的实验称 7 个 GPT 模型在 31 个测试样本上均报告 44,794 tokens，且 GPT-6 未增加输入计数；但 OpenAI 尚未确认 GPT-6 是否沿用 GPT-5 系列分词器。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。