DCBench-440：评测大模型对AI数据中心建设的反事实推理

论文作者提出 DCBench-440，评测大模型对 AI 数据中心建设早期决策的反事实推理能力。基准包含两个独立任务、共 440 道题：基于 STRIPS 世界、覆盖五种美国交易原型的 200 道生成式题，以及依据场地记录、排放公式和情景编写的 240 道选择题。 生成式题使用搜索验证过的金标答案，且作者称在各类题型上测试的捷径均不超过 12%。在开放权重模型的各部署中，生成式题准确率为 12.5%–71.5%，选择题为 58.3%–92.5%。代码、数据及其他材料可按需获取。

AI 根据报道生成 · 3 小时前更新