arXiv · cs.AI· Amiri Hayes, Belinda Z Li, Jacob Andreas·· 1 天前
论文提出用程序合成解释 Transformer 注意力头
Explaining Attention with Program Synthesis
arXiv:2606.19317v3阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Amiri Hayes, Belinda Z Li, Jacob Andreas
研究任务与主要进展
研究者提出一套程序合成流程，用生成的 Python 程序复现 GPT-2、TinyLlama-1.1B 和 Llama-3B 中注意力头的行为。基于论文摘要，少于1,000个程序在 TinyStories 上达到平均75%以上的交并比相似度；替换25%注意力头后，模型平均困惑度增加16%，并在多种下游问答基准上保持性能。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org