SWE-TaskFlow按真实任务流评估编码智能体

Igor Slinko、Yaroslav Golubev和Sergey Titov提出SWE-TaskFlow，将基于问题描述的编码基准保留原有任务与测试，同时通过拆分提示和可验证的仓库问答，使交互匹配目标任务流；其TaskFlow Alignment Score（TFAS）用于筛选生成轨迹。 研究分析了JetBrains IDE中真实软件工程师的4,782次Agent会话，并聚焦至少含三条用户消息的长会话，占样本33%。这些会话覆盖项目问答、规划、评审、重构和执行等任务；三个公开交互语料库的长会话在会话长度、任务类型及类型转换上差异明显，因此论文主张基准应明确目标场景，并依据相应场景的测量校准交互分布。

AI 根据报道生成 · 55 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。