提出参数分解方法 VPD：将语言模型参数分解为部分实现学习算法的子组件

Lucius Bushnaq 等人在 arXiv 发布论文，提出 adVersarial Parameter Decomposition（VPD）方法，将语言模型的参数分解为各自只实现模型所学算法一小部分的子组件。 该方法的核心要求是：在大量子组件被移除、甚至被对抗性选择移除时，模型对输入的输出行为仍保持不变；作者据此研究参数子组件之间的交互及其形成的新型“电路”。论文称该方法让作者更接近理解神经网络如何使用参数计算其行为，同时表示这方面仍有大量工作要做。当前材料仅提供论文摘要，基于摘要收录。

AI 根据报道生成 · 2 小时前更新