提出不确定性引导渐进收缩压缩LLM推理后训练数据

1. 12:00
   arXiv · cs.AI

   不确定性引导渐进收缩提升大语言模型推理后训练效率

   该研究提出不确定性引导的渐进收缩框架，通过逐步压缩监督数据和优化训练量，在多种推理基准与LLM家族上以全数据SFT最低0.22%的优化预算保持或提升推理性能。基于论文摘要，方法先围绕中间推理状态构建蒙特卡洛推理树以刻画过程不确定性，再在SFT中根据学生学习状态进行在线路由；实验还报告训练暴露减少超过450倍，并适用于异构学生模型、黑盒教师和弱到强迁移。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。