提出RC-DS坐标改善SAE稀疏特征恢复

Brian Xiao 和 Sarah Wilson 在 arXiv 论文（2610.18462v2）中提出读出规范化决策空间坐标（RC-DS）方法，用于消除语言模型读出层的奇异值增益、保留决策信息，改善稀疏自编码器（SAE）的特征恢复。论文称，当因子在读出缩放之前生成时，在条件数 100 下，同等训练预算下 RC-DS 将平均稀疏因子恢复率从 0.506 提升至 0.913（相比 centered-logit 训练）。 权衡与限制方面：在三个固定语言模型检查点的全部 18 个任务-稀疏度设置中，RC-DS 的无增益重构均更高，但 centered-logit SAE 在 17 个设置中对输出 logits 的重构更好。小标签头对照实验显示，更长训练可将两者重构差距从 0.0198 缩小到 0.0016。 以上结果基于论文摘要，尚未经独立验证。

AI 根据报道生成 · 40 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。