CausalDS：评测数据科学智能体因果推理的合成基准

Andrej Leban、Theo Saarinen和Yuekai Sun在arXiv发布CausalDS基准（v2），用于评测数据科学智能体工作流中的因果推理。 每个场景由采样的结构因果模型、生成的观测数据和基于真实领域的合成自然语言故事组成，覆盖Pearl因果推理的三个层级。由于生成器完全合成，基准不是固定数据集，组成、难度和规模均为可调参数，可随时生成新试卷。 多数任务需要编码并调用多个工具，同时评估不确定性量化、工具使用；对因果图无法识别的目标，正确作答是弃答。材料未说明各模型在该基准上的实测成绩。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。