跳到正文
arXiv · cs.AI· Shuoran Jiang, Wentao Zhu, Yang Xiang, Dongfeng Li, Yunan Zhang, Mengchen Zhao, Yuhui Guo, Kai Chen, Youcheng Pan, Xiangping Wu, Qingcai Chen·· 6 小时前

CiMEO通过功能子网络定位实现大语言模型高效持续学习

Functional Subnetwork Localization for Efficient Continual Learning in Large Language Models

arXiv:2610.21537v1阅读论文 PDF ↗

仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。

作者:Shuoran Jiang, Wentao Zhu, Yang Xiang, Dongfeng Li, Yunan Zhang, Mengchen Zhao, Yuhui Guo, Kai Chen, Youcheng Pan, Xiangping Wu, Qingcai Chen

研究任务与主要进展

研究者提出Function-isolated Memory-Efficient Optimization(CiMEO),通过梯度归因剖面定位功能专门化子网络,将每条训练样本路由至对应子网络并限制参数更新范围。基于论文摘要,CiMEO在覆盖编程、考试式任务和数学推理的五个生成式基准上取得了所比较方法中的最高平均表现,并减轻了灾难性遗忘。

阶段、条件与复现 · 深读核对

  • 新能力对应什么具体任务与最小输入输出?
  • 代码、模型、数据、许可与可用入口是否明确?
  • 效果、总成本、失效条件与实际工作流如何验证?

这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。

来源:arXiv · cs.AI · arxiv.org