跳到正文
热点事件观察中

提出PAGE与DomLoRA适配器放置方法

1 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

Suoxin Zhang等人基于论文摘要提出利用梯度能量探测LoRA适配器位置的PAGE方法,并据此设计DomLoRA,将单个适配器放置在主导适配模块。该模块在两个模型家族、四项任务中均集中于浅层FFN下投影,但呈现架构依赖、任务稳定的特征。DomLoRA仅使用vanilla LoRA约0.7%的可训练参数,平均性能超过后者,训练时间最高减少2.74倍;这些结果目前依据论文摘要报告。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月7日
  1. arXiv · cs.AI
    DomLoRA以主导适配模块重塑LoRA适配器放置

    Zhang等提出PAGE梯度敏感度探测方法,并据此设计DomLoRA,将单个LoRA适配器放置在主导适配模块。作者基于论文摘要报告,该模块是浅层FFN下投影,在两个模型家族和四项任务中表现出架构依赖但任务稳定的特征;DomLoRA仅使用vanilla LoRA的0.7%可训练参数,平均性能超过后者,训练时间最高减少2.74倍。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。