跳到正文
热点事件持续更新

ReFormBench:评测大模型格式纠错稳定性的新基准

1 篇报道1 个报道来源5 小时前更新

先了解这件事

AI 综述

Tianxiang Gao 等提出并发布 ReFormBench 基准,用模型对同一问题的无约束响应作为格式基线,评测大语言模型在不同指令变体下纠正既有格式的能力。基于论文摘要,基准包含来自 910 个源问题的 5000 个经难度筛选的三约束测试实例,覆盖 66 种格式特征。 十个模型的 EMCR 为 34.04% 至 64.72%,最高三目标纠正估计为 50.02%。在 Qwen3.5-9B 上的提示实验同时改善了完整指令合规和纠正指标。代码与数据已在匿名仓库提供。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv · cs.AI
    ReFormBench:评测大语言模型响应条件格式纠正的稳定性

    作者提出ReFormBench,以模型对同一问题的无约束响应作为格式基线,评测大语言模型在不同指令变体下纠正既有格式的能力。基于论文摘要,该基准包含来自910个源问题的5000个三约束测试实例,覆盖66种格式特征;十个模型的EMCR为34.04%至64.72%,最高三目标纠正估计为50.02%。Qwen3.5-9B上的提示实验同时改善完整指令合规和纠正指标,代码与数据已提供。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。