论文提出UltraBERT双向编码器预训练方法

Jungwoo Park、Taewhoo Lee、Jaewoo Kang等作者发布论文，提出UltraBERT双向编码器：在同一批次中为低、高掩码比例分别配置语言模型头，并将蒸馏目标限制在低掩码比例，以兼顾分类与检索任务。 基于论文摘要，作者报告UltraBERT的GLUE得分为91.0、BEIR得分为47.7，并称据其所知这是首个在分类和检索两类任务上同时达到当前领先水平的编码器。摘要同时指出，超过数万亿下游任务训练词元后编码器性能趋于饱和，额外计算不再带来收益。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。