跳到正文
热点事件观察中

CME-SpectrumBench:评测LLM分析凝聚态光谱数据

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

Jin Gene Wong 等发布 CME-SpectrumBench,一个由专家设计的 190 题基准,评估前沿 LLM 分析研究级凝聚态实验(CME)光谱数据的能力,代码和数据公开于 Hugging Face。 任务基于模拟 CME 谱数据,模型需从含噪声且受仪器分辨率限制的二维强度数组中识别结构并计算派生量。结果显示,直接查询的得分普遍明显低于手写代码,存在明显失败模式;接入 Python 解释器后(结合或不结合 ReAct)表现可接近手写代码。

AI 根据报道生成 · 14 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月20日
  1. arXiv · Strongly Correlated Electrons
    CME-SpectrumBench评估LLM分析凝聚态光谱数据能力

    CME-SpectrumBench是一个由专家设计、包含190道题的基准,用于评估前沿LLM分析研究级凝聚态实验光谱数据的能力。模型需从含噪声且受仪器分辨率限制的二维强度数组中识别结构并计算派生量;直接查询通常弱于手写代码,接入Python解释器并结合或不结合ReAct后表现可接近手写代码。代码和数据已公开于Hugging Face。

本事件热度走势

可比范围当前
4
可比范围峰值
610月21日 06:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。