论文提出BatchParScale并行流通信注意力机制

1. 12:00
   arXiv · cs.AI

   BatchParScale：面向序列模型的稀疏批混合机制

   BatchParScale通过少量通信位置让并行推理流交换信息，并在Parallel Needle-in-a-Haystack检索基准、预训练、微调和合作式多智能体强化学习中评估。基于论文摘要，其语言模型损失优于ParScale，强化学习任务表现具有竞争力，且可通过LoRA微调加入预训练Transformer；预训练和微调模型的事实检索性能仍不明确。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。