论文提出LLM路由升级信号的自检方法与局限

Ramin Pishehvar、Andrea Morandi和Mahesh Viswanathan提出五项自检方法，用于评估判断何时将查询从小语言模型升级到大模型的低成本信号，并在三个基准和两个模型家族上测试。 结果显示：在GSM8K上，对大小相差约十二倍的模型对，语义熵识别小模型错误的AUROC为0.871，在匹配成本下路由准确率较随机升级最多提高9个百分点。但作者称，早先一个合成基准上的亮眼结果有误导性——仅基于题目难度、完全不调用模型的简单规则效果几乎与语义熵相同。此外，实时采样的真实成本可能使路由比直接调用大模型更贵。 结果基于论文摘要，属研究阶段的评估框架，未涉及实际部署验证。

AI 根据报道生成 · 12 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。