arXiv · cs.AI· Fabian Gr\"oger, Na\"el Ouerghemi, Shuo Wen, Maria Brbi\'c·· 11 小时前精选
多模态大语言模型投影器训练再思考：PORTAL免配对数据初始化方法
Rethinking Projector Training in Multimodal LLMs
arXiv:2610.18598v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Fabian Gr\"oger, Na\"el Ouerghemi, Shuo Wen, Maria Brbi\'c
研究任务与主要进展
作者提出PORTAL，一种基于最优传输、无需配对图文数据和梯度优化的多模态大语言模型投影器初始化方法。基于论文摘要，PORTAL通过在共享主子空间中对视觉与语言特征分布的高斯近似进行映射，在六种LLM骨干、两种视觉编码器和16个基准上匹配使用558k图文对训练的标准流程，并在7种设置中的3种超过该流程、其余设置平均达到其分数的98%。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
本站判断
基于论文摘要，该研究指出投影器训练可能主要承担粗粒度对齐，并提出无需配对图文数据和梯度优化的PORTAL初始化方法。其跨多种视觉编码器、语言模型骨干和基准的对比结果支持该方法的可行性，但证据仍限于摘要所述实验设置；本站设想：可进一步比较PORTAL与传统训练在不同数据规模、噪声和模态分布偏移下的鲁棒性。
来源：arXiv · cs.AI · arxiv.org