论文称降低激活偏置或改善神经网络学习

Zirui Peng、Heyi Zheng、Ziming Liu发布论文（arXiv:2610.14500）提出“激活偏置”概念：ReLU、GELU、Swish和Sigmoid等常用激活函数输出以正值为主，造成非零的激活后均值。 基于论文摘要，受控模型实验显示，激活偏置会加快初期损失下降，但伴随过冲、不平滑轨迹和更陡的损失景观；降低偏置虽减慢初期学习，但最终取得更低损失。更大规模视觉与语言模型的实验也呈现较小激活偏置与更好后期表现相关的模式。 以上结论来自作者论文摘要描述的实验，相关性与因果尚待进一步验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。