放射报告QA评测将弃答与抽取错误分开评估

Priyanshu Sinha 和 Kelsey McDonald 提出一种放射学报告问答评测方法，将错误回答率、过度弃答率与F1分开报告，并把F1变化拆分为抽取与可回答性两部分，以区分模型“该答不答”和“答错”两类问题。 作者在RadQA测试集上对该方法进行应用：评估13个LLM，设置为零样本及三种累计示例集，最后一个示例集加入不可回答示例。结果显示，加入不可回答示例后，12个模型更频繁地弃答，但抽取表现未随之改变。此外，作者称，仅当足够多的其他模型也作答时才保留答案，可使零样本错误回答率下降4个百分点，且未检测到F1变化。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。