论文研究CoT信息密度预测推理正确性并提出EGDR方法

研究人员（Tanush Kalhan、Anupam Chattopadhyay、Sriram Ranga、Amritendu Mukherjee）发布arXiv论文，研究思维链（CoT）推理步的信息密度变化能否预测答案正确性并作为推理时可控制的目标。 实验覆盖六种模型规模、两种训练范式和60道GSM8K问题，得到四项主要发现：在监督微调模型中，较低的LP（信息密度）方差与正确性相关；但在强化学习蒸馏模型中该关系反转。直接在推理时进行密度引导会使准确率从60.0%降至8.3%；结合提示注入与对比式KV-cache引导的预生成提示方法可提升13.3个百分点；其提出的EGDR方法在无外部指导时提升10.0个百分点。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。