重新思考跨分词器在线策略蒸馏：从对齐覆盖到监督可靠性

该论文研究不同分词器下教师与学生的在线策略蒸馏，比较数学推理和代码生成任务中的三组教师—学生模型。结果显示，严格1:1对齐组已覆盖多数学生生成词元，在每个严格位置仅选择共享词汇前16项进行反向KL监督，效果可与完整共享词汇方案相当，并优于所评估的跨分词器基线；对错配组加入区间对数概率的均方误差监督虽实现完整覆盖，却降低准确率，训练检查点还显示区间梯度与严格梯度的方向一致性较弱或为负。

摘自 arXiv · cs.AI

还没有足够的连续观测数据，暂不绘制趋势。