跳到正文
arXiv · cs.AI· Valerii Iakovlev, Markus Spanring, Martin Flechl·· 8 小时前

SLS-Bench:面向合成可观测性数据的事故日志摘要基准

SLS-Bench: A Benchmark for Incident Log Summarization with Synthetic Observability Data

arXiv:2610.16412v1阅读论文 PDF ↗

仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。

作者:Valerii Iakovlev, Markus Spanring, Martin Flechl

研究任务与主要进展

作者提出 SLS-Bench,一个用于事故日志摘要的基准,包含90个基于真实事故报告、配套合成日志流和参考摘要的任务。其数据生成流程先构建结构化事故模型,再生成合成日志与参考摘要,并结合叙事约束、生成器—验证器循环及与真实日志流的统计比较;作者基于该基准评测了14个LLM,结果显示前沿模型可生成有用摘要,但成本和延迟较高,开放权重模型表现明显落后。

阶段、条件与复现 · 深读核对

  • 新能力对应什么具体任务与最小输入输出?
  • 代码、模型、数据、许可与可用入口是否明确?
  • 效果、总成本、失效条件与实际工作流如何验证?

这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。

来源:arXiv · cs.AI · arxiv.org