TDDN：融合DINOv3与CleanDIFT提升细粒度视觉理解

Harsha Patnala、Debopriyo Banerjee、Ayush Sunil Munot、Somak Aditya 等在 arXiv 发布论文，提出 TDDN（Text-aligned Diffused DINO Network）：将 DINOv3 与 CleanDIFT 表征融合为 DiffusedDINO 感知编码器，并与 RoBERTa-L 进行文本对齐，用于图像拼图中的细粒度视觉推理，同时发布 PuzzlePerception 数据集，代码与数据在 GitHub 开放。 作者声称，在骨干网络冻结、仅用约 59 万对齐数据的条件下，TDDN 在图文检索任务上超过 CLIP ViT-L/14，稠密预测精度是 CLIP 的三倍以上（ADE20K 5.20→18.11 mIoU，COCO-Stuff 7.35→24.44），并在通用对比编码器（含 SigLIP 2）中取得分割基准领先。

AI 根据报道生成 · 2 小时前更新