异构模型切片配合协议蒸馏实现多模型协作学习与推理

研究者提出一个协作学习框架：把相近参数预算下的大模型替换为多个异构小模型切片，并通过协议蒸馏和步骤级监督让它们学习跨模型的推理与交互。 基于论文摘要，训练后的异构模型在四类任务上达到与原大模型相当或更好的表现，相比多智能体基线具有更高的推理效率，并呈现出任务相关的协作模式。该结果目前仅有论文摘要支持，尚未经全文核验或独立复现。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。