ChemCost基准：LLM Agent化学采购成本推理最高仅50.6%准确率
热点事件持续更新
ChemCost基准：LLM Agent化学采购成本推理最高仅50.6%准确率
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
论文作者团队提出ChemCost基准，评估LLM Agent根据反应描述确认化学物质、检索供应商报价、选择可购买规格、规范数量并计算采购成本的能力。基准包含1,427个可评估反应，基于冻结的价格快照，覆盖2,261种化学品和230,775条供应商报价，支持标量评分以及对定位、检索、采购和算术各阶段的错误诊断。 结果显示，最强Agent在干净输入下、25%相对误差范围内仅达到50.6%的准确率；在注入化学别名、数量表达、缺失字段和输入格式等受控噪声的测试视图上性能显著下降。
AI 根据报道生成 · 3 小时前更新
最新进展10月12日 12:00
ChemCost基准评估LLM Agent的化学反应采购成本推理能力报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv · cs.AIChemCost基准评估LLM Agent的化学反应采购成本推理能力
作者提出ChemCost基准，用1,427个可评估反应测试LLM Agent从反应描述中确认化学物质、检索供应商报价、选择可购买规格、规范数量并计算采购成本，覆盖2,261种化学品和230,775条供应商报价，并支持标量评分与分阶段错误诊断。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 910月12日 14:00
- 近 24 小时变化
- –
02.557.510
14:0015:0016:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。