AI Agent 与人类软件逆向工程对比：最佳 Agent 达到统计意义上人类竞争水平

Samuele Doria 等作者发布 arXiv 论文（2610.14960），让 9 个模型与人类分析者完成两项此前由人类解决的紧凑二进制静态分析任务，统一使用理解评分标准比较，并记录与 IDA Pro 的完整交互。论文称表现最佳的 GPT-5.5 Pro、Claude Opus 4.8 和 Kimi K3 在两项任务上达到统计意义上的人类竞争性理解水平，较弱模型则差距明显。 消融实验显示差距取决于代码表示形式和工作流要求，而非仅由模型能力决定；研究还测量了 4,000 个真实世界二进制文件上的上下文窗口饱和情况。强 Agent 广泛获取代码且很少回看，较少遵循人类分析者的工作流结构。 以上结论基于论文摘要，属作者声称。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。