arXiv · cs.AI· Tanush Kalhan, Anupam Chattopadhyay, Sriram Ranga, Amritendu Mukherjee·· 5 小时前
大语言模型推理中的信息密度预测与引导
The Density of Thought: Predicting and Steering Reasoning in Large Language Models
arXiv:2610.21286v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Tanush Kalhan, Anupam Chattopadhyay, Sriram Ranga, Amritendu Mukherjee
研究任务与主要进展
该论文研究信息密度能否预测并引导大语言模型的推理正确性。基于六种模型规模、两种训练范式和60道GSM8K问题，监督微调模型中较低的LP方差与正确性相关，但在强化学习蒸馏模型中该关系反转；直接将推理密度引导后，准确率从60.0%降至8.3%。预生成的提示注入与对比式KV-cache引导使准确率提高13.3个百分点，EGDR在无外部指导时提高10.0个百分点。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org