arXiv · cs.AI· Jungwoo Park, Taewhoo Lee, Jaewoo Kang·· 9 小时前
UltraBERT：超越BERT预训练极限的双向编码器
UltraBERT: Beyond the Limit of BERT Pre-Training
arXiv:2610.15028v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Jungwoo Park, Taewhoo Lee, Jaewoo Kang
研究任务与主要进展
作者提出UltraBERT双向编码器，通过在同一批次中为低、高掩码比例分别配置语言模型头，并将蒸馏目标限制在低掩码比例，以兼顾分类与检索任务。基于论文摘要，作者报告其GLUE得分为91.0、BEIR得分为47.7，并称其在两项任务上达到当前领先水平；摘要同时指出，超过数万亿下游任务训练词元后，编码器性能趋于饱和，额外计算不再带来收益。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org