MA-Bench：评估语言模型军事任务分析能力的新基准

Rodney Lafuente-Mercado 等研究者在 arXiv 发布 MA-Bench 基准，评估语言模型从大型、不完整且部分矛盾的文档集中完成军事任务分析第一步（阅读态势、陈述问题）的规划判断能力，并开放数据包、评分标准、提示词、评分器及逐条评分结果。 基准包含 10 个专家构建场景，每个场景配 10 至 12 份合成文档和共 1,257 条专家书写的通过/不通过要求，每条标注来源、问题类型和重要级别。对 20 个前沿与开源权重模型的评测中，最好模型仅答对 62% 的评分项，作者据此认为现有模型在该任务上仍有明显差距。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。