arXiv · cs.AI· Zhiliang Chen, Sebastian Ament, David Eriksson, Maximilian Balandat, Bryan Kian Hsiang Low, Eytan Bakshy, Jihao Andreas Lin·· 7 小时前
PLES通过幂律熵搜索高效估计最优超参数缩放律
Efficiently Estimating Optimal Hyperparameter Scaling Laws through Power-Law Entropy Search
arXiv:2609.01431v3阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Zhiliang Chen, Sebastian Ament, David Eriksson, Maximilian Balandat, Bryan Kian Hsiang Low, Eytan Bakshy, Jihao Andreas Lin
研究任务与主要进展
作者提出Power-Law Entropy Search（PLES），用多保真度贝叶斯优化高效估计大语言训练的最优超参数缩放律。该方法按单位计算成本选择最能降低缩放律估计不确定性的候选配置，摘要报告其在合成基准、真实训练数据拟合的代理模型和实际LLM预训练运行中均使用传统网格搜索及其他基线所需十分之一的计算预算。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org