System1-Arena基准发布：评测30个模型的决策能力
热点事件持续更新
System1-Arena基准发布：评测30个模型的决策能力
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
Tianyu Chen等人在arXiv发布System1-Arena基准，用统一格式的决策请求和概率打分比较System-1模型与LLM，评测了30个模型（7个闭源LLM、13个开源LLM、10个System-1模型）。基准包含来自268个公开来源的105项任务共9.2万道题，以及138个闭环环境。 基于论文摘要，主要发现是：最大的System-1模型在非Agent任务准确率上可匹配或超过快速闭源LLM，延迟约四分之一且概率校准更好；但小型System-1模型在闭环环境中很少成功。整体上推理LLM准确率最高，成本约为快速LLM的70倍；闭环任务中大型开源LLM成功率最高，为32.9%。
AI 根据报道生成 · 3 小时前更新
最新进展10月16日 12:00
System1-Arena评测哪些决策可由System-1模型处理报道时间线
沿着报道，了解事件的不同侧面。
10月16日
- arXiv · cs.AISystem1-Arena评测哪些决策可由System-1模型处理
System1-Arena评测发现，最大的System-1模型在非Agent任务准确率上可匹配或超过快速闭源LLM，并以约四分之一延迟给出校准更好的概率；但小型System-1模型在闭环环境中很少成功。基于论文摘要，该基准包含105项任务的9.2万道题及138个闭环环境，评估了30个模型；推理LLM准确率最高，但成本约为快速LLM的70倍，闭环任务中大型开源LLM成功率最高、达到32.9%。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 910月16日 14:00
- 近 24 小时变化
- –
02.557.510
14:0015:0016:0017:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。