跳到正文
热点事件持续更新

GrowRL:冻结主干,将RL更新组织为可迁移计算通路

1 篇报道1 个报道来源5 小时前更新

先了解这件事

AI 综述

Haolin Tian、Yikang Li、Tonghan Wang 等在 arXiv 发布论文,提出 GrowRL:冻结预训练主干,在每个 Transformer 层新增独立的因果注意力分支和前馈网络分支,仅训练这些新增参数,把大语言模型强化学习的更新组织成紧凑的计算路径。 基于论文摘要,在五个主干上的实验显示,该方法以少量可训练参数取得有竞争力的数学推理和分布外表现。学到的通路在三种迁移方向上都能带来直接收益:目标侧仅更新 10 次的表现已接近更新 100 次的水平。

AI 根据报道生成 · 49 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月14日
  1. arXiv · cs.AI
    GrowRL:为大语言模型强化学习构建并迁移可复用计算路径

    GrowRL通过结构化增长,将大语言模型强化学习更新组织为紧凑的计算路径:冻结预训练主干,仅更新新增的独立因果注意力分支和前馈网络分支。基于论文摘要,在五个主干上的实验显示,该方法以少量可训练参数取得有竞争力的数学推理和分布外表现,并支持三种迁移方向;目标侧仅更新10次的表现已接近100次更新。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。