PACE:面向原生MLLM的视觉token压缩框架,保留25%-50% token实现超2倍FLOPs降低
热点事件观察中
PACE:面向原生MLLM的视觉token压缩框架,保留25%-50% token实现超2倍FLOPs降低
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
Lei Tian等作者提出PACE(Pareto-Adaptive Compression for Efficient Native MLLMs),据论文摘要称这是首个针对采用Multimodal-RoPE的原生多模态大模型(ViT-free)设计的视觉token压缩框架。方法将注意力沿图像高度和宽度分解以估计空间显著性,并通过Pareto优化确定压缩深度和保留比例。 基于论文摘要,实验显示PACE在仅保留25%—50%视觉token时保持近无损表现,部分基准还有提升,同时实现超过2倍的FLOPs降低。
AI 根据报道生成 · 2 天前更新
最新进展10月20日 12:00
PACE:面向原生多模态大模型的高效视觉Token压缩框架报道时间线
沿着报道,了解事件的不同侧面。
10月20日
- arXiv · cs.AIPACE:面向原生多模态大模型的高效视觉Token压缩框架
作者提出PACE,一种面向原生多模态大模型、结合Multimodal-RoPE的视觉Token压缩框架。方法将注意力分解为沿图像高度和宽度的空间显著性估计,并通过Pareto优化确定压缩深度和保留比例;基于论文摘要,实验在保留25%—50%视觉Token时保持近无损表现,部分基准提升,同时实现超过2倍的FLOPs降低。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 610月21日 06:00
- 近 24 小时变化
- -49%
0246
06:0012:0018:0010月22日06:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。