论文提出SPACE几何校准SFT方法

Jianzhu Bao 等作者在arXiv发布论文，提出SPACE（Subspace Projection for Adapted Checkpoint Enhancement），一种对监督微调（SFT）后模型的无数据、免训练后处理校准方法：将SFT更新中位于预微调权重主子空间内的分量选择性地回退，同时保留正交补中的分量，作者称以此改善微调模型性能。该方法只需SFT前后的两个检查点即可应用。 作者在Qwen2.5、Qwen3、Qwen3.5、Llama-3.1和Olmo-3模型（2B至14B）上，覆盖数学、编程和医疗SFT任务及多种SFT变体进行了评估。以上为论文作者声称的结果。

AI 根据报道生成 · 47 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。