大语言模型单通道控制大规模激活

Minjia Mao、Shi Chen、Bowen Yin 和 Xiao Fang 在一篇 arXiv 论文中提出，预训练大语言模型的大规模激活由输入嵌入到脉冲前馈网络（spike FFN）的单一通道控制，并将其命名为 MAGC。论文基于六个模型、四个模型家族的实验，报告了 MAGC 的存在及其影响，并给出理论解释。 作者称，当 MAGC 的值足够大或足够小时，脉冲 FFN 的输出在渐近条件下可化为二次型，混合 FFN 下投影矩阵中的少数列；该结果属于论文提出的机制解释，尚非独立验证的通用结论。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。