JEV-as-a-Judge：按置信度分流LLM评审任务

Yubo Li 等提出 JEV-as-a-Judge：JEV 作为只输出标签概率的决策型评委，按预先设定的置信度阈值接受结论，未达阈值的结果升级给推理型评委。基于论文摘要，在结论可直接从文本读取的任务上，JEV 与 GPT-6 准确率相差不超过 3 个百分点，费用为后者的 0.36%，中位延迟 0.15 秒；在数学、代码、逻辑等需推导结论的任务上表现落后。这些结果来自论文摘要所述评估，尚不能视为独立验证。 论文摘要另称，在固定阈值下接受高置信结论并升级其余结果，在 1,610 个留出样本对上比 GPT-6 准确率高 0.9 个百分点，费用为其 41%；该方法在风格对抗样本和无参考文本的开放式写作评审上表现减弱。摘要中的费用口径（0.36% 与 41%）与适用条件不同，均不能扩展到全部任务。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。