arXiv · cs.AI· Sida Liu, Feijiang Han, Sarah Wiegreffe, Furong Huang·· 2 天前
非高斯性揭示语言模型中的可解释方向：ICA Lens工作流
Non-Gaussianity Reveals Interpretable Directions in Language Models
arXiv:2606.11722v2阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Sida Liu, Feijiang Han, Sarah Wiegreffe, Furong Huang
研究任务与主要进展
论文提出ICA Lens，利用非高斯性直接发现语言模型残差流中的可解释方向，无需额外训练稀疏字典。基于论文摘要，该方法在GPT-2 Small、Gemma 2 2B和Qwen 3.5 9B Base上发现了词汇、句法和语义模式，其可解释性、稀疏重建、概念预测及定向探针扰动表现与SAE相当，同时每层拟合时间降至分钟级，内存使用减少7至43倍。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org