arXiv · cs.AI· Prasoon Dev, Anirudh Sankar, Vasudeva Varma·· 5 小时前
MS-GLA通过多时间分辨率缓解Gated Linear Attention的表示瓶颈
MS-GLA: Multi-Scale Gated Linear Attention for Addressing Representational Bottlenecks via Multi-Temporal Resolution
arXiv:2609.35664v2阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Prasoon Dev, Anirudh Sankar, Vasudeva Varma
研究任务与主要进展
研究者提出多尺度门控线性注意力MS-GLA，将注意力头分配到不同时间分辨率，并通过可学习、依赖输入的融合层动态组合各组输出。论文摘要称，在语言建模、回忆密集任务和长上下文泛化中，相同参数量下MS-GLA相较GLA consistently 达到更高准确率和更低困惑度，回忆密集任务最高提升18.9%，语言建模基准平均困惑度降低9.5%；当前仅依据摘要，未说明完整实验细节。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org