GRADE筛选梯度对齐样本微调LoRA

Hongyu Cao等提出面向数据中心式小语言模型LoRA微调的GRADE。基于论文摘要，在三种当前代骨干模型和七个异构指令数据集上，GRADE相较数据选择与PEFT稳定化基线提高了准确性和鲁棒性；作者称，它是所比较方法中唯一在每种架构上都持续优于标准LoRA的方案。 GRADE通过状态感知选择器筛选与演化中多任务梯度场对齐的样本，并用自校准的步级门控拒绝可能在子空间饱和附近造成破坏性覆盖的更新。材料未说明实验细节、代码及完整适用边界。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。