发布中医LLM统一评测基准LingLanMedBench

研究团队发布中医大语言模型统一评测基准LingLanMedBench，包含25,620条专家核验题目，覆盖5个领域、13个子任务，用于评测模型在中医知识、语言理解、信息抽取与诊疗决策上的能力。基于论文摘要，14个开源和专有模型在统一零样本协议下完成评测，领先模型总体分数为51.1。 评测显示模型表现与任务难度明显相关：领先分数在困难子集上降至31.9，开放式处方生成的F1分数也明显低于决策识别类准确率，作者据此指出模型的知识型表现与临床忠实推理之间存在差距。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。