ITO 论文提出多视图对齐与训练时融合的图文预训练框架
热点事件持续更新
ITO 论文提出多视图对齐与训练时融合的图文预训练框架
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Hanpeng Liu 等在 arXiv 发布 ITO 框架论文，针对图文对比预训练中表征按模态而非按语义组织的问题，结合多视图对齐与训练时融合两种机制。摘要称，多样化图像增强形成的跨模态对应提供主要判别增益；融合模块仅用于训练时正则化编码器，推理时被移除，从而保持双编码器架构的效率，只增加训练开销。 实验覆盖数百万至数十亿图文对，论文称在 100M—1B 规模、相同数据、主干和计算量下，ITO 相对 CLIP 在分类、检索和多模态基准上一致提升，并在中等规模下优于强对比基线。代码已在 GitHub 开源。
AI 根据报道生成 · 2 小时前更新
最新进展10月12日 12:00
ITO：用于图像—文本预训练的多视图对齐与训练时融合报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv · cs.AIITO：用于图像—文本预训练的多视图对齐与训练时融合
ITO提出面向图像—文本预训练的多视图对齐与训练时融合框架，以减少表征按模态而非按语义组织的问题。论文摘要称，多样化图像增强形成的跨模态对应提供主要判别增益，训练时融合模块用于正则化编码器且推理时被移除；实验覆盖数百万至数十亿图文对，并在100M—1B规模及相同数据、主干和计算量下相对CLIP提升分类、检索和多模态基准表现。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 910月12日 14:00
- 近 24 小时变化
- –
02.557.510
14:0015:0016:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。