FormInv 提出数学推理基准语义不变性测量协议

Nishal Thomas 和 Noel Thomas 在 arXiv 论文中提出 FormInv 协议，用于审计数学推理基准中语义等价改写的质量，并引入 Conditional Inconsistency Rate（CIR）和 Semantic Consistency Rate（SCR）衡量模型在改写下答案的不变性。 协议在 9 个模型上评估，题目为 366-811 条经 Lean4 验证的规范陈述，并提供 FormInvSelector 用于按场景选择模型。作者对 MathCheck（ICLR 2025）基准的改写质量审计发现，129 个改写组中有 4 个（3.1%）语义不正确；在所有模型共享的 43 个定理上，Claude Haiku 4.5 翻转已知正确答案的比例（41.9%）约为 DeepSeek V3（4.7%）的 9 倍。作者称 CIR 排名在独立的 103 个定理集合上可复现。

AI 根据报道生成 · 3 小时前更新