arXiv · cs.AI· Zirui Peng, Heyi Zheng, Ziming Liu·· 6 小时前
重新思考激活函数：降低激活偏置可能改善学习
Rethinking Activation Functions: Reducing Bias Can Improve Learning
arXiv:2610.14500v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Zirui Peng, Heyi Zheng, Ziming Liu
研究任务与主要进展
作者提出，常用ReLU、GELU、Swish和Sigmoid的正向输出会造成一种称为“激活偏置”的非零激活均值。基于论文摘要，受控模型实验显示，激活偏置会加快初期损失下降，但伴随过冲、不平滑轨迹和更陡的损失景观；降低偏置虽然减慢初期学习，却最终带来更低损失。更大规模视觉与语言模型的实验也呈现较小激活偏置与更好后期表现相关的模式。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org