研究目标词元组织顺序的LLM训练方法

Chun-Hao Yang 等发布论文（arXiv:2511.00198v2），提出 Max(MI(S;t)) 训练方法，用基于互信息的确定性启发式优先安排信息量较高的目标词元，改变大语言模型自回归训练中的预测顺序，以改进标准下一词预测的组织方式。 该方法不改变模型架构或自回归解码：固定长度输出使用任务特定预测顺序，开放词汇文本生成采用轻量级前缀增强。基于论文摘要，在 GPT 风格模型和预训练 Llama/Qwen 变体上的算术推理、多标签文本分类和文本生成实验中，该方法常优于标准顺序以及反向顺序、TF-IDF、条件概率选择等基线。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。