MixedPEFT:混合PEFT方法用于无监督领域自适应
热点事件观察中
MixedPEFT:混合PEFT方法用于无监督领域自适应
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
研究团队提出MixedPEFT,将可逆适配器与LoRA结合,同时优化有标注源域数据上的分类损失和无标注目标域数据上的掩码语言建模损失,用于无监督领域自适应。 基于论文摘要,在MNLI数据集的20个领域偏移上,该方法平均性能较UDapter、DANN和DSN分别提升1.41、1.26和0.86个百分点,且仅更新7%的模型参数。作者称该结果为参数高效无监督领域适应建立了新的最优水平,超过参数高效方法和全量微调基线。
AI 根据报道生成 · 28 分钟前更新
最新进展10月8日 12:00
MixedPEFT将多种PEFT方法结合用于无监督领域自适应报道时间线
沿着报道,了解事件的不同侧面。
10月8日
- arXiv · cs.AIMixedPEFT将多种PEFT方法结合用于无监督领域自适应
作者提出MixedPEFT,将可逆适配器与LoRA结合,并同时优化有标注源域数据上的分类损失和无标注目标域数据上的掩码语言建模损失。基于论文摘要,该方法在MNLI数据集的20个领域偏移上,平均性能较UDapter、DANN和DSN分别提升1.41、1.26和0.86个百分点,同时仅更新7%的模型参数。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。