arXiv · cs.AI· Raghavv Goel, Sudhanshu Agrawal, Mukul Gagrani, Risheek Garrepalli, Mingu Lee·· 5 小时前
LLM隐藏状态的多层选择用于推测解码
Surfing the Activation Wave: Analyzing the Information and Geometry of LLM Hidden States for Speculative Decoding
arXiv:2610.12939v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Raghavv Goel, Sudhanshu Agrawal, Mukul Gagrani, Risheek Garrepalli, Mingu Lee
研究任务与主要进展
作者提出一个面向推测解码的多层隐藏状态选择框架，以矩阵熵衡量信息量、以CKA衡量多样性，并通过token-entropy filtering去除低预测熵 token 对应的隐藏状态。在EAGLE3-style推测解码中，所选层集合优于包括默认 规则在内的固定基线；以上内容仅依据论文摘要。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org