医疗LLM Agent升级可靠性扰动基准发布
热点事件观察中
医疗LLM Agent升级可靠性扰动基准发布
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
华盛顿大学圣路易斯分校Zihao Zheng等发布arXiv论文，构建了包含400个合成医疗工作流episode的基准，评估5种开放权重模型（1.7B–9.7B）在缺失、陈旧、冲突或延迟证据下的回答、澄清、拒答和升级决策，显示干净输入上的静态准确率不代表扰动下的升级可靠性。模型在干净输入上决策准确率达0.97，但冲突场景下9.7B配置降至0.78，不确定性提示下模型漏掉32–97%的必要升级；工作流感知控制器将漏升级率降至0.12–0.24，但在30个概念的词汇压力测试中，规则检测器对未见释义的召回率从1.00降至0.00，控制器结论仅限于该基准。 基准按预声明的5:1漏升级与不必要升级代价对四种决策打分，参考动作是单一作者的研究政策标签，而非临床医生裁定的金标准，结果均限于该合成基准。
AI 根据报道生成 · 1 天前更新
最新进展10月16日 12:00
医疗LLM Agent升级可靠性审计：受扰动工作流状态基准显示静态准确率不代表升级能力报道时间线
沿着报道，了解事件的不同侧面。
10月16日
- arXiv · cs.AI医疗LLM Agent升级可靠性审计：受扰动工作流状态基准显示静态准确率不代表升级能力
研究者构建了包含400个合成医疗工作流 episode的基准，评估5种开放权重模型在缺失、陈旧、冲突或延迟证据下的回答、澄清、拒答和升级决策。模型在干净输入上的准确率达0.97，但在冲突场景下9.7B配置降至0.78；工作流感知控制器将漏升级率降至0.12--0.24，但词汇压力测试中规则检测器对未见释义的召回率降至0.00，结果仍限于该合成基准。
本事件热度走势
- 可比范围当前
- 4
- 可比范围峰值
- 910月16日 15:00
- 近 24 小时变化
- -51%
02.557.510
18:0010月17日06:0012:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。