CaRe：无需训练的推理时方法缓解全模态LLM跨模态幻觉

Yu Mi 等在论文中提出 CaRe（Conflict-aware Residual Intervention），一种无需训练、在推理阶段识别并纠正全模态大模型模态误路由的方法，声称可缓解跨模态幻觉。基于论文摘要，作者称在两个全模态大模型及 CMM、AVHBench 两个基准上，CaRe 均优于所评估的推理阶段幻觉缓解基线。 方法上，CaRe 用文本模态探针寻找候选单模态反事实分支，当其预测与原始联合预测冲突时判定可能发生误路由，再依据反事实分支置信度用表示残差引导原始多模态状态，同时保留视听双模态路径。 以上结果出自论文摘要，尚未经独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。