LLMSurgeon：从生成文本反推模型预训练数据配比
热点事件持续更新
LLMSurgeon：从生成文本反推模型预训练数据配比
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
Yaxin Luo 等在 arXiv 发布论文，提出 LLMSurgeon 框架：仅根据目标大语言模型生成的文本，估计其预训练语料在预定义分类体系下的领域级数据配比。作者将该任务（DMS）建模为标签偏移假设下的逆问题，通过估计校准的软混淆矩阵并用约束逆问题修正领域混淆。 论文同时提出可验证评测套件 LLM Scan，由具有透明预训练配方的开源模型构成。基于论文摘要，该方法在固定评测协议下实现了较高保真度的领域混合比例恢复，具体实验细节与比较基线材料未说明。
AI 根据报道生成 · 3 小时前更新
最新进展10月16日 12:00
LLMSurgeon：诊断大语言模型预训练数据混合比例报道时间线
沿着报道，了解事件的不同侧面。
10月16日
- arXiv · cs.AILLMSurgeon：诊断大语言模型预训练数据混合比例
LLMSurgeon在仅获得目标大语言模型生成文本的情况下，估计其在预定义分类体系下的领域级预训练数据分布。作者将该任务建模为标签偏移下的逆问题，估计校准的软混淆矩阵并通过约束逆问题修正领域混淆；论文还提出由开源模型和透明预训练混合数据构成的可验证评测套件 LLM Scan。基于论文摘要，该方法在固定评测协议下实现了较高保真度的领域混合比例恢复，但具体实验细节与比较基线未提供。
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 910月16日 15:00
- 近 24 小时变化
- –
02.557.510
15:0016:0017:0018:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。