提出矩阵态非线性RNN架构M²RNN用于语言建模

Mayank Mishra、Shawn Tan、Tri Dao 等作者在 arXiv 论文（arXiv:2603.14360v3）中提出 M²RNN（Matrix-to-Matrix RNN），一种用矩阵值隐状态和非线性状态转移的非线性 RNN 架构，用于语言建模，并通过状态扩展机制更高效地利用张量核心，以突破传统非线性 RNN 状态规模的限制。 基于论文摘要，在循环层与注意力交替的混合设置中，7B MoE 模型上的 Hybrid M²RNN 相比等规模 Gated DeltaNet 混合模型，困惑度改善 0.4–0.5，循环层状态大小缩小 3 倍，LongBench 上最高提升 8 分；作者还称模型在训练未见过的序列长度上实现完美的状态跟踪泛化。以上结果均为论文摘要所载的作者说法，尚未有独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。