发布SLS-Bench事故日志摘要基准并评测14个LLM

Valerii Iakovlev、Markus Spanring、Martin Flechl 在 arXiv 发布 SLS-Bench，一个面向事故日志摘要的基准，包含90个任务，每个任务基于真实事故报告，配套合成日志流和参考摘要。 作者称其数据生成流程先构建结构化事故模型，再生成合成日志与参考摘要，并结合叙事约束、生成器—验证器循环及与真实日志流的统计比较；提出该基准的动机是真实事故数据收集成本高，现有基准对从大规模日志流的端到端摘要覆盖不足。 作者基于该基准评测了14个LLM，结果显示前沿模型可生成有用摘要，但成本和延迟较高，开放权重模型表现明显落后。

AI 根据报道生成 · 56 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。