SOS-LoRA 提出静态正交多专家低秩微调方法

Yupeng Chang、Yuan Wu、Yi Chang 等在 arXiv 论文（v2）中提出 SOS-LoRA，将固定总秩的低秩更新分解为多个静态（始终激活、非路由的）低秩专家，通过固定多尺度缩放与跨专家正交初始化促进不同输入方向，作为 LoRA 的即插即用扩展。作者报告，在 Llama 2/3 的推理与知识密集型任务、GLUE 以及 GSM8K/MATH 上，该方法相较匹配秩预算的 LoRA 基线及近期变体取得一致增益。该方法可完全合并，合并后不增加推理参数或延迟。代码已在 GitHub 提供（https://github.com/llm172/sos-lora）。以上结论基于论文摘要，尚未经独立复现验证。

AI 根据报道生成 · 2 天前更新