Choice2Seq基准论文发布于arXiv

Tianyou Lai、Wentao Yue、Zhiying Deng、Qilei Li 在 arXiv 发布 Choice2Seq 诊断基准论文，提出 SCR（Sequence Composition Rate）指标，衡量模型在同一问题和候选集的独立运行中，完整答案选择的正确性有多少能保留到序列化局部构造中。 论文称，Jev 在算术和词汇检索任务上的选择准确率分别为 97.1% 和 99.5%，但经串行局部构造后仅分别保留 33.0% 和 2.1% 的正确选择。作者称限制局部选项为候选支持的字符可改善构造，显式位置索引可提高复制忠实度。以上基于论文摘要，未核验全文。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。