Quanta Magazine· Natalie Wolchover·· 3 小时前
“注意力”是智能的本质吗？——Quanta 深度解析 Transformer 核心机制的由来
Is ‘Attention’ the Essence of Intelligence?
研究任务与主要进展
Bahdanau 于 2014 年在 Yoshua Bengio 指导下为解决神经机器翻译长句性能差的问题提出“注意力”机制，使网络能翻译长句如同短句。2017 年 Google 团队据此设计出 transformer 架构，论文《Attention Is All You Need》被引用超过 25 万次，催生了 ChatGPT 和 Claude 等大语言模型。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请阅读原文核验。
来源：Quanta Magazine · quantamagazine.org