热点事件持续更新

预训练知识线性可读性预测微调后事实泛化

1 篇报道1 个报道来源6 小时前更新

先了解这件事

AI 综述

Faridoun Mehri 和 Hinrich Schütze 在 arXiv 发表研究，发现语言模型预训练表示中某关系的线性可读性，能强烈预测该模型经微调学习新关系后对未见实体的泛化能力。研究人员在 11 个语言模型和 70 个关系上验证：在单个模型内部，两项指标跨关系的相关系数为 Pearson 0.87 至 0.92。该关联在分别和联合控制微调主体数、答案数、原关系准确率及预训练文本出现频率后仍保持，且对标签分配、微调种子和语义类别的替换具有稳健性。

AI 根据报道生成 · 3 小时前更新

最新进展10月16日 12:00

微调前呈线性的知识在微调后更能泛化

报道时间线

沿着报道，了解事件的不同侧面。

10月16日

12:00
arXiv · cs.AI
微调前呈线性的知识在微调后更能泛化
研究人员在11个语言模型和70个关系中发现，预训练表示中原关系的线性可读性能够强烈预测模型学习新关系后对未见实体的泛化能力，各模型内的 Pearson 相关系数为0.87至0.92。该关联在分别和联合控制微调主体数、答案数、原关系准确率及预训练文本出现频率后仍保持，并通过对标签分配、微调种子和语义类别进行替换后仍具稳健性。

本事件热度走势

可比范围当前: 8
可比范围峰值: 910月16日 16:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。