arXiv · cs.AI· Zihao Zheng (Washington University in St. Louis), Junyi Yao (Washington University in St. Louis), Baichuan Li (Southern Methodist University), Jiayu Long (Washington University in St. Louis)·· 1 天前
医疗LLM Agent升级可靠性审计：受扰动工作流状态基准显示静态准确率不代表升级能力
Auditing Escalation Reliability in Healthcare LLM Agents: A Perturbation-Controlled Benchmark of Workflow-State Failures
arXiv:2610.21270v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Zihao Zheng (Washington University in St. Louis), Junyi Yao (Washington University in St. Louis), Baichuan Li (Southern Methodist University), Jiayu Long (Washington University in St. Louis)
研究任务与主要进展
研究者构建了包含400个合成医疗工作流 episode的基准，评估5种开放权重模型在缺失、陈旧、冲突或延迟证据下的回答、澄清、拒答和升级决策。模型在干净输入上的准确率达0.97，但在冲突场景下9.7B配置降至0.78；工作流感知控制器将漏升级率降至0.12--0.24，但词汇压力测试中规则检测器对未见释义的召回率降至0.00，结果仍限于该合成基准。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org