北邮团队提出MiTA高效注意力并被NeurIPS 2026接收

北京邮电大学团队提出 Mixture-of-Top-k Attention（MiTA），一种高效注意力方法，论文被 NeurIPS 2026 接收，代码已开源。 MiTA 从快权重（Fast Weights）视角将标准注意力重述为一种输入生成权重的 FFN，并据此建立包含压缩、路由等维度的五维分类框架。方法上，MiTA 通过局部平均池化提取 m 个 Landmark Query，包含 m 个路由专家和 1 个共享专家：路由专家提供原始细节，共享专家提供全局泛化；其设计的可变形、可复用 Top-k 专家在保留全局信息的同时按需读取原始细节。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。