提出RGR缓解LLM自改进能力退化
热点事件持续更新
提出RGR缓解LLM自改进能力退化
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Jiaqi Tian与Ting Long在arXiv发布论文，提出表示几何正则化方法RGR，用于缓解大语言模型在On-Policy Self-distillation（OPSD）自改进过程中已获得能力逐步退化的问题。OPSD是一种让同一模型在不同条件下同时充当教师和学生的自改进范式。 RGR通过增强表示空间中的簇内紧凑性和簇间分离度来保持表示几何结构，且可集成到现有OPSD方法中。论文摘要称，在多种OPSD方法和基准上的实验显示，RGR总体上能缓解能力退化并保留能力提升；代码已发布于GitHub。
AI 根据报道生成 · 2 小时前更新
最新进展10月12日 12:00
大语言模型自改进中的能力退化：表示几何正则化方法RGR报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv · cs.AI大语言模型自改进中的能力退化：表示几何正则化方法RGR
Jiaqi Tian与Ting Long提出表示几何正则化RGR，用于缓解大语言模型On-Policy Self-distillation过程中已获得能力逐步退化的问题。方法通过增强表示空间中的簇内紧凑性和簇间分离度来保持表示几何结构，且可集成到现有OPSD方法中。论文摘要称，在多种OPSD方法和基准上的实验显示，RGR总体上能缓解能力退化并保留能力提升；代码已发布于GitHub。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 910月12日 14:00
- 近 24 小时变化
- –
02.557.510
14:0015:0016:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。