arXiv · cs.AI· Miao Li, Hanyang Jiang, Hengyu Fu, Baihe Huang, Yating Liu, Yuhang Cai, Changkun Guan, Zhongzhu Chen, Jiecheng Lu, Michael A. Boateng, Pascal Van Hentenryck·· 1 天前
PACS:面向扩散语言模型的可预测性感知监督微调方法
Match the Canvas, Not Just the Answer: Predictability-Aware SFT for Diffusion Language Models
arXiv:2610.18001v1阅读论文 PDF ↗
仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。
作者:Miao Li, Hanyang Jiang, Hengyu Fu, Baihe Huang, Yating Liu, Yuhang Cai, Changkun Guan, Zhongzhu Chen, Jiecheng Lu, Michael A. Boateng, Pascal Van Hentenryck
研究任务与主要进展
研究团队提出预测感知画布选择与监督方法PACS,通过模型自身可预测性选择每个样本的注意力可见输入长度,并在参考 token 按置信度显现前立即进行监督。基于论文摘要,PACS在推理和代码生成基准中均取得所比较监督微调方法中的最高平均准确率,单个基准相对原始SFT最高提升12.84个百分点;代码将在论文发表后发布。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出?
- 代码、模型、数据、许可与可用入口是否明确?
- 效果、总成本、失效条件与实际工作流如何验证?
这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源:arXiv · cs.AI · arxiv.org