ClinEdge基准：前沿多模态模型在真实边缘病例上表现不佳

Anurag Sharma、Aditya Sharma 和 Sapna Baalwan 在 arXiv 发布医学多模态基准 ClinEdge，用32例来自临床实践的去标识真实患者边缘病例，对七个前沿多模态系统进行共224次专家评级评估，结论是各系统整体表现不佳，且不同厂商会遗漏相同发现、给出相似但错误的治疗计划。 病例涵盖主要影像、简短病例描述和已知会诱导模式匹配的影像特征；研究归纳出五类、18种反复出现的失败模式。全部七个生产系统均通过公开接口评测，224次对话保留为可回放链接。 目前仅完整公开4个病例，其余28例保留，邀请前沿AI实验室和医疗AI公司用来评测其模型。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。