SPECTRUM谱调制方法缓解循环自蒸馏多样性流失

Yunbo Long等提出SPECTRUM，一种面向代码生成循环自蒸馏（Looped Self-Distillation）的谱调制方法：每轮从固定参考锚点重估损失敏感的键值几何，将其转化为全秩近端谱调制，以缓解自蒸馏中正确解丰富度下降的问题。 论文实验显示，在固定信息预算、不依赖外部评估或基于测试的样本选择、所有生成样本训练单一学生的设定下，MBPP上五轮后SPECTRUM保留初始模型64样本正确AST丰富度的89.9%，Vanilla自蒸馏为66.4%，子空间投影对照为65.5%。该学生在HumanEval+和APPS Intro上无需再训练或重校准，matched-correct丰富度高于Vanilla SD，作者称多样性收益可迁移。

AI 根据报道生成 · 1 天前更新