发布ListQA基准：评估大模型列表格式事实检索

Mayank Kulkarni、Rakesh Vaideeswaran等在arXiv发布ListQA基准，包含9045个经人工整理和交叉校验的问题（审核错误率1.7%），要求大语言模型检索多个事实并组织成包含3—10个元素的结构化列表，并发布了数据集和评估代码。 基于论文摘要，评测覆盖34个模型（8个家族、42种配置，含标准与开启思考两种推理模式），最佳标准推理模型的LLM-Judge-F1低于37%，多维度问题更难；提供Wikipedia来源页面后得分显著提升。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。