QTestBench：评测LLM生成量子代码测试的框架

Terki等研究者在arXiv发布QTestBench框架，用于评估大语言模型为量子代码生成的测试套件能否区分正确实现与错误实现。框架用独立基准检查器评判，不把被测的LLM生成测试本身当作真值。 研究团队在8个PennyLane QHack挑战和10个Qiskit HumanEval任务上评测5个模型，生成的测试套件通常可以执行，但质量有限：最佳生成器在QHack上测试质量为0.71，在Qiskit HumanEval上仅为0.34。 论文还提出，在自然错误样本稀缺时，用Oracle验证的合成突变体可以稳定错误检测估计。以上结果基于论文材料，测试质量的适用范围限于这两个基准任务集。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。