arXiv · cs.AI· Yaxin Luo, Jiacheng Cui, Xiaohan Zhao, Xinyi Shang, Jiacheng Liu, Xinyue Bi, Zhaoyi Li, Zhiqiang Shen·· 7 小时前
LLMSurgeon：诊断大语言模型预训练数据混合比例
LLMSurgeon: Diagnosing Data Mixture of Large Language Models
arXiv:2605.30348v2阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Yaxin Luo, Jiacheng Cui, Xiaohan Zhao, Xinyi Shang, Jiacheng Liu, Xinyue Bi, Zhaoyi Li, Zhiqiang Shen
研究任务与主要进展
LLMSurgeon在仅获得目标大语言模型生成文本的情况下，估计其在预定义分类体系下的领域级预训练数据分布。作者将该任务建模为标签偏移下的逆问题，估计校准的软混淆矩阵并通过约束逆问题修正领域混淆；论文还提出由开源模型和透明预训练混合数据构成的可验证评测套件 LLM Scan。基于论文摘要，该方法在固定评测协议下实现了较高保真度的领域混合比例恢复，但具体实验细节与比较基线未提供。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org