论文将自回归解码证明为鞅并实验验证二阶矩

Xiahui Zhu 等在 arXiv 论文 2610.16041 中证明，自回归 LLM 逐步采样时，采样词元指示与模型条件预测分布之差的累积误差过程是关于解码信息流的鞅，条件一阶矩恒为零，其可预测二次变差为各步 (1−p(yₜ|y<ₜ)) 之和，仅由已实现词元概率即可计算。 基于论文摘要，作者在 Llama-3.x 和 Qwen2.5 系列 1B 至 72B 参数模型上的白盒实验显示，实测二阶矩与理论预测接近。作者称该框架可用于生成文本检测和不确定性量化。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。