Spec-Harness评估LLM合成形式化规范的行为充分性

论文作者（Misu等）提出Spec-Harness框架，用于评估大语言模型合成的JML形式化规范是否真正约束程序行为，而不只是通过验证器；作者报告22.7%的已验证规范没有后置条件。 该框架从前置条件和后置条件的正确性与完整性四个维度出发，结合基于Hoare三元组的符号验证与在系统构建的测试套件上的输入输出变异来度量规范的行为充分性。基于论文摘要。 在留出测试中，Spec-Harness作为反馈信号可提升规范的行为充分性，适用于Codex、Claude Code两个通用代理以及作者构建的、使用验证器和Spec-Harness作为反馈的CodeAct风格JML合成代理。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。