跳到正文
热点事件观察中

PACE:面向原生MLLM的视觉token压缩框架,保留25%-50% token实现超2倍FLOPs降低

1 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

Lei Tian等作者提出PACE(Pareto-Adaptive Compression for Efficient Native MLLMs),据论文摘要称这是首个针对采用Multimodal-RoPE的原生多模态大模型(ViT-free)设计的视觉token压缩框架。方法将注意力沿图像高度和宽度分解以估计空间显著性,并通过Pareto优化确定压缩深度和保留比例。 基于论文摘要,实验显示PACE在仅保留25%—50%视觉token时保持近无损表现,部分基准还有提升,同时实现超过2倍的FLOPs降低。

AI 根据报道生成 · 2 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月20日
  1. arXiv · cs.AI
    PACE:面向原生多模态大模型的高效视觉Token压缩框架

    作者提出PACE,一种面向原生多模态大模型、结合Multimodal-RoPE的视觉Token压缩框架。方法将注意力分解为沿图像高度和宽度的空间显著性估计,并通过Pareto优化确定压缩深度和保留比例;基于论文摘要,实验在保留25%—50%视觉Token时保持近无损表现,部分基准提升,同时实现超过2倍的FLOPs降低。

本事件热度走势

可比范围当前
3
可比范围峰值
610月21日 06:00
近 24 小时变化
-49%

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。