模型互出题推理评测框架 TTG
热点事件持续更新
模型互出题推理评测框架 TTG
1 篇报道1 个报道来源11 小时前更新
先了解这件事
AI 综述
Simon Henniger与Gabriel Poesia提出The Token Games（TTG）评测框架，让语言模型相互出题——通过布尔函数编程谜题挑战对方并验证答案，再以两两对赛的Elo评分比较10个前沿模型的推理能力（基于论文摘要）。 作者称该方法无需人工创建谜题，总成本低于200美元，所得排名与Humanity's Last Exam等现有基准接近；但当前模型生成高质量谜题仍很困难。
AI 根据报道生成 · 1 小时前更新
最新进展10月14日 12:00
The Token Games：用编程谜题对赛评测语言模型推理能力报道时间线
沿着报道，了解事件的不同侧面。
10月14日
- arXiv · cs.AIThe Token Games：用编程谜题对赛评测语言模型推理能力
Simon Henniger与Gabriel Poesia提出The Token Games评测框架，让语言模型相互出题，并通过布尔函数编程谜题验证答案、再用两两对赛的Elo评分比较10个前沿模型。基于论文摘要，该方法无需人工创建谜题，成本低于200美元，所得模型排名与Humanity's Last Exam接近；当前模型生成高质量谜题仍很困难。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。