LOGIC基准评估LLM航空电气变更影响分析

Muhammad Faraz Shoaib 等在 arXiv 提出受控基准 LOGIC，用于评估语言模型在航空电气设计变更中依据工程请求选择候选变更，并通过类型化电气可追溯图传播影响。流程为先将请求锚定到确定性的候选变更清单，再传播影响。 LOGIC 包含 168 个场景（144 个选择、24 个弃权），作者用三个 7—8B 模型与意图无关、词汇匹配和结构化证据方法比较，并设 oracle-root 上界。基于论文摘要的结果：结构化证据在 96 个明确锚定案例中候选 F1 达 1.0000，但在 12 个关系改写案例中严格门控与词汇匹配均明显受限；严格证据门控抑制假阳性但会删去正确的语义选择，六个冲突请求中每个模型仍有四个不安全。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。