跳到正文
热点事件持续更新

提出LLoPS:可学习低秩多项式草图改进线性注意力

1 篇报道1 个报道来源7 小时前更新

先了解这件事

AI 综述

Zongyue Qin、Haoran Deng、Jason Cong、Yizhou Sun 在 arXiv 发布论文,提出可学习低秩多项式草图框架 LLoPS,用于近似线性注意力中的高阶多项式核。作者报告该方法的近似误差严格小于既有方法,并称在广泛基准上相对多种线性注意力基线取得最高性能。 以上结论基于论文摘要,具体基准、数值结果和实现成本未在材料中说明。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月14日
  1. arXiv · cs.AI
    LLoPS:用可学习低秩多项式草图改进线性注意力

    作者提出可学习低秩多项式草图框架LLoPS,用于近似线性注意力中的高阶多项式核;作者报告,该方法的近似误差严格小于既有方法。基于论文摘要,LLoPS在广泛基准中取得了相对多种线性注意力基线的最高性能,但具体基准、数值结果和实现成本未在材料中说明。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。