PixelTriage降低图像记忆视觉成本

Youxing LI及合作者在arXiv论文中提出并评估PixelTriage，用于在多模态助手回答前判断检索到的图像记忆是否值得加载完整像素。其作为检索后的插件，依据对话、记忆备注和缩略图预测像素的潜在增益，并用冻结的27B模型在合成记忆片段上生成训练标签。 在使用7B回答模型的实验中，PixelTriage相较M³Exam、DMV和MemEye处于准确率—成本前沿，仅使用11%—23%的视觉token且准确率无显著下降；在相同预算下优于调整检索顺序和统一下采样，并可迁移至其他记忆系统和397B回答模型。上述结果基于论文摘要及其报告的实验。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。