arXiv · cs.AI· Chence Yang, Ningxi Cheng, Arash Akbari, Qitao Tan, Qingchan Zhu, Ci Zhang, Changdi Yang, Yanzhi Wang, Wei Niu, Jinhui Wang, Jin Lu, Geng Yuan·· 2 天前
BitNest通过位嵌套推测解码实现内存高效的大语言模型推理加速
BitNest: Bit-Nested Speculative Decoding for Memory-Efficient LLM Inference Acceleration
arXiv:2610.02800v2阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Chence Yang, Ningxi Cheng, Arash Akbari, Qitao Tan, Qingchan Zhu, Ci Zhang, Changdi Yang, Yanzhi Wang, Wei Niu, Jinhui Wang, Jin Lu, Geng Yuan
研究任务与主要进展
BitNest提出一种位嵌套推测解码框架，将低精度草稿模型直接嵌入高精度目标模型，并通过残差细化恢复目标表示，使两者共享单一物理权重表示。该框架还扩展到KV缓存；在多个7B--8B边缘友好型大语言模型和不同工作负载上，作者报告平均推测接受率为95.2%，相较FP16自回归解码实现1.48--1.61倍端到端加速，同时保持接近的高精度模型质量。上述内容仅基于论文摘要。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org