提出3D-DefectBench基准

3D-DefectBench提出一个用于分析视觉语言模型评估流程的基准，覆盖几何、纹理和提示遵循度的九类细粒度二元缺陷，并在84种推理设计中改变模型、相机协议、视觉输入和提示结构。结果显示，模型选择是与人工标签一致性波动的主要来源，六视图RGB协议的表现可与更密集视图及加入深度或法线通道的配置相当；在固定设计下，12个视觉语言模型中的最佳者仍落后于受训人工标注者。

摘自 arXiv · cs.AI

还没有足够的连续观测数据，暂不绘制趋势。