Sparse Transformer：面向机制可解释性的受控测试床
热点事件持续更新
Sparse Transformer：面向机制可解释性的受控测试床
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Anton Korznikov 等在 arXiv 发布论文，提出一个在 TinyStories 上训练的 5 层稀疏 Transformer（ST），通过宽而 TopK 稀疏的 MLP 促使神经元专门化，将其作为机制可解释性的受控测试平台。 结果显示：ST 神经元在 AutoInterp 上比按损失匹配的稠密 Transformer 高出 43%；单个模型预测可由中位数 12 个神经元的回路复现；用 Transcoder 恢复 ST 神经元向量的余弦相似度比 Sparse Autoencoder 高 52.6%。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
稀疏Transformer：为机制可解释性提供受控测试平台报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv · cs.AI稀疏Transformer：为机制可解释性提供受控测试平台
作者提出一个在TinyStories上训练的5层稀疏Transformer，通过宽而TopK稀疏的MLP促使神经元专门化，并将其作为机制可解释性的受控测试平台。其神经元在AutoInterp上较按损失匹配的稠密Transformer高出43%，单个模型预测可由中位数为12个神经元的回路复现；此外，Transcoder恢复ST神经元向量的余弦相似度比Sparse Autoencoder高52.6%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。