跳到正文
arXiv · cs.AI· Niklas Wagner, Alexander M\"adche·· 5 小时前

基于知识图谱的LLM企业数据助手模拟评估优于模式中介方法

Designing for Imperfect Prompts: A Simulation-Based Evaluation of an LLM-Based Enterprise Data Assistant Using Knowledge Graphs

arXiv:2610.23304v1阅读论文 PDF ↗

仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。

作者:Niklas Wagner, Alexander M\"adche

期刊信息(来源提供):Proceedings of the 34th European Conference on Information Systems (ECIS 2026), 5

研究任务与主要进展

研究设计并评估两种企业数据助手的语义中介方案,其中基于数据湖自动构建知识图谱的方案优于基于语义相似度的模式中介方案。基于真实数据的模拟评估结合LLM-as-a-Judge和人工验证,结果显示前者在Precision、Recall、F1及用户意图保持方面表现更好。

阶段、条件与复现 · 深读核对

  • 新能力对应什么具体任务与最小输入输出?
  • 代码、模型、数据、许可与可用入口是否明确?
  • 效果、总成本、失效条件与实际工作流如何验证?

这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。

来源:arXiv · cs.AI · arxiv.org