DAGFormer论文提出联合预测Transformer跨层连接拓扑

Xiaocong Yang、Yuren Hao和ChengXiang Zhai在arXiv论文中提出DAGFormer，用联合训练的拓扑预测器统一规划Transformer的跨层连接，并根据输入词元调节连接强度。 基于论文摘要：在与OLMo-2匹配的75M至1B参数实验中，DAGFormer相较标准Transformer将WikiText-2困惑度降低17%至25%；在相同数据与预算下与四个路由基线比较，在75M、300M和1B规模取得最低困惑度，并在多项评测和指令微调中结果更高。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。