arXiv · cs.AI· Hadi Vafaii, Tejas Rao, David Chanin, Thomas Fel, Jacob L. Yates, Bruno Olshausen, David Klindt, Dileep George, Miguel L\'azaro-Gredilla·· 2 天前
BeFOND：统一稀疏自编码器推理与字典学习的自然梯度流
Inference and learning in sparse autoencoders as natural gradient flow
arXiv:2610.07389v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Hadi Vafaii, Tejas Rao, David Chanin, Thomas Fel, Jacob L. Yates, Bruno Olshausen, David Klindt, Dileep George, Miguel L\'azaro-Gredilla
研究任务与主要进展
作者提出BeFOND，将稀疏自编码器的特征推理与字典学习统一为共享变分自由能上的自然梯度流，并实现闭式推理和学习动力学。通过递归解释-away降低重叠特征干扰，再用Fisher预条件改善稀有特征学习，BeFOND在合成数据上提升字典恢复和稀有特征检测，在语言模型激活上改善单特征概念检测与选择性干预。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org