Jev 1.13 医学问答基准评测：与 GPT-6 Sol 对比

研究者（Alfredo Madrid-García 等）发布 arXiv 论文，将非生成式 System One 模型 Jev 1.13 与 GPT-6 Sol 在四个医学基准上对比。结果显示 Jev 在 PubMedQA 上准确率相近（78.4% 对 78.2%），但在 MetaMedQA、DiagnosisArena-MCQ 和 NEJM 病例上分别落后 7.9、22.6 和 20.6 个百分点。该评测基于论文摘要，主要结局为 top-1 准确率，次要结局包括校准、选择性预测和不可回答问题的识别。作者强调 Jev 只能为预定义选项赋概率、无法在选项之外作答，且临床使用前需进行任务特定验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。