提出注意力质量集中稀疏解码方法并在Qwen2-0.5B上评估

Jorge L. Ruiz Williams 提出 Attention-Mass Condensation 方法，用精确遗漏质量恒等式和下游裕量条件分析稀疏解码中注意力质量保留与稳定决策的关系，并设计查询相关的均值池化块选择器。 评估在 Qwen2-0.5B 上进行，覆盖 97–769 个位置的支持集、2K–16K 上下文、每个上下文五个前缀。主要精确匹配结果显示，60 次运行中没有一次能在 128 个 token 内与稠密解码输出保持一致。 作者称困惑度是在稠密模型自身续写上以 teacher-forced 方式测量，而非稀疏模型自由生成的输出；孤立的算子计时也不能证明匹配质量的加速或端到端服务速度提升。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。