跳到正文
arXiv · cs.AI· Priyanshu Sinha, Kelsey McDonald·· 8 小时前

LLM 放射学报告问答:将可回答性与答案抽取分开评测

Dissociating Answerability from Extraction in LLM Question Answering over Radiology Reports

arXiv:2610.17576v1阅读论文 PDF ↗

仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。

作者:Priyanshu Sinha, Kelsey McDonald

研究任务与主要进展

作者提出一种放射学报告问答评测方法,将错误回答率、过度弃答率与F1分开报告,并将F1变化拆分为抽取和可回答性两部分。该方法在RadQA测试集上评估13个LLM:加入不可回答示例后,12个模型更频繁地弃答,但抽取表现未随之改变;按其他模型是否作答保留答案,可使零样本错误回答率下降4个百分点,且未检测到F1变化。

阶段、条件与复现 · 深读核对

  • 新能力对应什么具体任务与最小输入输出?
  • 代码、模型、数据、许可与可用入口是否明确?
  • 效果、总成本、失效条件与实际工作流如何验证?

这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。

来源:arXiv · cs.AI · arxiv.org