跳到正文
热点事件持续更新

提出CRDS:按计算响应性选择推理模型后训练数据

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

Liang He 等在 arXiv 论文(arXiv:2610.20057)中提出 Compute-Responsive Data Selection(CRDS),一种推理模型后训练数据选择原则:优先选择那些增加推理计算量后能从失败转为成功的样本(称 CR 样本),而非仅用已解出的样本。 基于论文摘要,在 Qwen3-8B 上,用 CR 样本做 SFT 可恢复 45.3% 的留出低计算量失败案例,高于用已解样本的 40.6%,并使模型在 512 至 4,096 token 推理预算下持续优于匹配的非 CR 训练。作者称该模式在多个数据来源、on-policy 蒸馏下均成立,且在为 Llama-3.1-8B-Instruct 单独重建 CR 集后可扩展到该模型。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv · cs.AI
    超越正确性:面向推理模型后训练的算力响应数据选择

    作者提出Compute-Responsive Data Selection(CRDS),优先选择能够因增加推理计算而从失败转为成功的样本来进行推理模型后训练。基于论文摘要,在Qwen3-8B上,使用CR样本进行SFT可恢复45.3%的低计算量失败案例,高于使用已解样本的40.6%,并使模型在512至4,096 token的推理预算下持续优于匹配的非CR训练。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。