arXiv · cs.AI· Jiaqi Tian, Ting Long·· 5 小时前
大语言模型自改进中的能力退化：表示几何正则化方法RGR
Mitigating Capability Degradation in LLM Self-Improvement via Representation Geometry Regularization
arXiv:2610.12855v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Jiaqi Tian, Ting Long
研究任务与主要进展
Jiaqi Tian与Ting Long提出表示几何正则化RGR，用于缓解大语言模型On-Policy Self-distillation过程中已获得能力逐步退化的问题。方法通过增强表示空间中的簇内紧凑性和簇间分离度来保持表示几何结构，且可集成到现有OPSD方法中。论文摘要称，在多种OPSD方法和基准上的实验显示，RGR总体上能缓解能力退化并保留能力提升；代码已发布于GitHub。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org