arXiv · cs.AI· Swathi Shree Narashiman, Aravind Ramana Venkatramanan, Nambi Seshadri·· 11 小时前
语言模型 Logits 的几何结构与训练偏移
The Geometry of Language Model Logits: Generic Structure and Learned Departures
arXiv:2610.18520v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Swathi Shree Narashiman, Aravind Ramana Venkatramanan, Nambi Seshadri
研究任务与主要进展
研究作者实证发现，自回归语言模型按词表顺序排列的预测 logits 近似满足 z_(r) ≈ μ − α log r，这一几何结构跨预测上下文、模型架构和规模保持一致，并在预训练过程中逐步形成。受控的有界、轻尾和重尾分布基线可解释其主要对数线性形态，但不能解释训练模型斜率从初始化时约0.2升至约1.4–1.7的系统性变化；该斜率还与预测性能相关。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org