arXiv · cs.AI· Mayank Mishra, Shawn Tan, Ion Stoica, Joseph E. Gonzalez, Tri Dao·· 4 小时前
M²RNN：用矩阵值状态构建可扩展的非线性RNN语言模型
M$^2$RNN: Non-Linear RNNs with Matrix-Valued States for Scalable Language Modeling
arXiv:2603.14360v3阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Mayank Mishra, Shawn Tan, Ion Stoica, Joseph E. Gonzalez, Tri Dao
研究任务与主要进展
作者提出矩阵值状态与非线性状态转移的M²RNN，用于突破传统非线性RNN状态规模对语言建模的限制，并利用状态扩展机制更高效地使用张量核心。基于论文摘要，该模型在未见序列长度上实现完美的状态跟踪泛化；在7B MoE混合模型中，相比等规模Gated DeltaNet混合模型，困惑度改善0.4–0.5，循环层状态大小缩小3倍，并在LongBench上最高提升8分。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org