arXiv · cs.AI· Shaikh Akib Shahriyar, MD. Akil Raihan Iftee, Armon Barton, Matthew Wright·· 2 天前
工具使用 Agent 鲁棒性评测：可执行任务契约
What Counts as the Same Task? Executable Contracts for Robustness Evaluation of Tool-Using Agents
arXiv:2610.14477v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Shaikh Akib Shahriyar, MD. Akil Raihan Iftee, Armon Barton, Matthew Wright
研究任务与主要进展
基于论文摘要，作者提出可执行任务契约，明确任务事实、允许的编辑和完成条件，并在 Agent 运行前检查修改后的测试案例。对同一批14,336次存储运行的比较显示，四种编码器的嵌入阈值规则放行了75%—100%会改变任务的编辑，同时拒绝了24%—45%的有效敌意备注；材料还报告，使用MiniLM余弦阈值时，Mistral在64个任务中均显示易受攻击，但只有26个任务存在成功的有效攻击。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org