论文分析LLM中注意力与MLP的安全通路并提出Sentinel方法

Zixuan Weng、Haoqi He、Weifei Jin、Yue Huang、Yang Bai 在 arXiv 论文（arXiv:2610.13078）中提出，LLM 的安全性相关功能可按模块划分路径：在覆盖 Qwen、Llama、Gemma 的 18 组 Base-Instruct 模型对上，有害性信息更容易从注意力模块的残差流更新中被解码出来（尤其浅层），而 MLP 更新更直接参与对齐模型中有害查询选择性拒答证据的写入。对齐后，MLP 的拒答写入增强且更集中于深层。 该分析将问题重构为残差流更新的通路问题，把模块暴露的有害性信息与其产生的可读拒答证据变化分开测量。作者基于此提出结合注意力感知分数 P 与 MLP 决策分数 D 的 Sentinel 方法，在 8 个模型上条件路由的汇总错误率低于单信号路由和所评估的固定提醒基线。以上结论基于论文摘要，尚待全文核验与独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。