arXiv · cs.AI· Rui Hua, Yu Wei, Zixin Shu, Kai Chang, Dengying Yan, Jianan Xia, Hui Zhu, Xiaodong Li, Dongmei Jia, Zhuye Gao, Yanyan Meng, Haibin Yu, Fei Dong, Kan Ding, Runshun Zhang, Jian Yu, Jiansheng Li, Baoyan Liu, Wenjia Wang, Xuezhong Zhou·· 6 小时前
LingLanMedBench:传统中医大语言模型统一评测基准
LingLanMedBench: A Unified Benchmark for Evaluating Large Language Models in Traditional Chinese Medicine
arXiv:2602.01779v2阅读论文 PDF ↗
仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。
作者:Rui Hua, Yu Wei, Zixin Shu, Kai Chang, Dengying Yan, Jianan Xia, Hui Zhu, Xiaodong Li, Dongmei Jia, Zhuye Gao, Yanyan Meng, Haibin Yu, Fei Dong, Kan Ding, Runshun Zhang, Jian Yu, Jiansheng Li, Baoyan Liu, Wenjia Wang, Xuezhong Zhou
研究任务与主要进展
研究团队提出LingLanMedBench统一评测基准,包含13个子任务、5个领域和25,620条专家核验题目,用于评估大语言模型在传统中医中的知识、语言理解、信息抽取与诊疗决策能力。基于论文摘要,14个开源和专有模型在零样本协议下完成评测,但总体领先分数从完整基准的51.1降至困难子集的31.9,开放式处方生成的F1分数也明显低于决策识别准确率,显示知识导向表现与临床忠实推理之间存在差距。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出?
- 代码、模型、数据、许可与可用入口是否明确?
- 效果、总成本、失效条件与实际工作流如何验证?
这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源:arXiv · cs.AI · arxiv.org