论文实证发现语言模型logits的对数线性几何结构

Swathi Shree Narashiman 等在 arXiv 论文《The Geometry of Language Model Logits》中实证发现：自回归语言模型按词表排序后的预测 logits 近似满足 z_(r) ≈ μ − α log r 的对数线性关系，该结构跨预测上下文、模型架构和规模保持一致，并在预训练过程中逐步形成。 作者用有界、轻尾和重尾分布的受控基线解释其主要形态，但基线不能解释训练模型斜率从初始化时约 0.2 升至约 1.4–1.7 的系统性变化；该斜率还与预测性能相关。以上为论文作者声称的实证结果，基于论文摘要。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。