arXiv · cs.AI· Toby D. Pilditch, Konstantinos Voudouris, Alexandra Abbas, Cozmin Ududec·· 3 天前
Transect：长时程 LLM 智能体评估的可观测性分析包
Transect: Retaining Observability for Long-Horizon LLM Agent Evaluations
arXiv:2610.08364v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Toby D. Pilditch, Konstantinos Voudouris, Alexandra Abbas, Cozmin Ududec
研究任务与主要进展
Transect 是研究作者构建的开源分析包，用于理解长时程 LLM 智能体运行过程、定位值得调查的行为，并将解释追溯到原始转录。它基于 Inspect Scout，将事件、令牌使用、子智能体活动和模型生成的行为标签按统一轮次时间线组织；作者在一次 AI 研发评估中处理了近 1300 万令牌，发现工作主要集中于运营和论文产出，而持续假设生成阶段的证据较少。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org