arXiv · cs.AI· Hanpeng Liu, Yaqian Li, Zidan Wang, Shuoxi Zhang, Zonglin Zhao, Zihao Bo, Rinyoichi Takezoe, Kaiwen Long, Kun He·· 5 小时前
ITO:用于图像—文本预训练的多视图对齐与训练时融合
ITO: Multi-View Alignment and Training-Time Fusion for Image-Text Pretraining
arXiv:2603.02767v5阅读论文 PDF ↗
仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。
作者:Hanpeng Liu, Yaqian Li, Zidan Wang, Shuoxi Zhang, Zonglin Zhao, Zihao Bo, Rinyoichi Takezoe, Kaiwen Long, Kun He
研究任务与主要进展
ITO提出面向图像—文本预训练的多视图对齐与训练时融合框架,以减少表征按模态而非按语义组织的问题。论文摘要称,多样化图像增强形成的跨模态对应提供主要判别增益,训练时融合模块用于正则化编码器且推理时被移除;实验覆盖数百万至数十亿图文对,并在100M—1B规模及相同数据、主干和计算量下相对CLIP提升分类、检索和多模态基准表现。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出?
- 代码、模型、数据、许可与可用入口是否明确?
- 效果、总成本、失效条件与实际工作流如何验证?
这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源:arXiv · cs.AI · arxiv.org