提出ReGrad:梯度可检索的持续后训练方法
热点事件持续更新
提出ReGrad:梯度可检索的持续后训练方法
1 篇报道1 个报道来源11 小时前更新
先了解这件事
AI 综述
清华大学Weihang Su等人在arXiv发布论文,提出持续后训练方法ReGrad(Retrievable Gradients),把文档特定梯度离线预计算并存入可索引的Gradient Bank,推理时只检索与查询相关的梯度做临时权重适配。 方法采用双层元学习目标,把面向文档的梯度重塑为可用于下游任务的适配信号。基于论文摘要,实验在通用和领域场景中优于CPT与RAG基线,作者称该方法支持可扩展、可逆的参数化知识注入而不累积权重漂移。
AI 根据报道生成 · 2 小时前更新
最新进展10月14日 12:00
ReGrad:无需累积权重漂移的持续后训练方法报道时间线
沿着报道,了解事件的不同侧面。
10月14日
- arXiv · cs.AIReGrad:无需累积权重漂移的持续后训练方法
Weihang Su等人提出ReGrad,将文档特定梯度离线预计算并存入可检索的Gradient Bank,在推理时仅检索与查询相关的梯度进行临时权重适配。方法采用双层元学习目标,将面向文档重建的梯度重塑为可用于下游任务的适配信号;基于论文摘要,实验在通用和领域场景中优于CPT与RAG基线,并支持可扩展、可逆的参数化知识注入而不累积权重漂移。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。