arXiv · cs.AI· Jasper Dekoninck, Maximilian Baader, Martin Vechev·· 11 小时前
Polyrating：面向大语言模型评估的低成本且偏差感知评分系统
Polyrating: A Cost-Effective and Bias-Aware Rating System for LLM Evaluation
arXiv:2409.00696v4阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Jasper Dekoninck, Maximilian Baader, Martin Vechev
研究任务与主要进展
Polyrating是一种基于最大后验估计的大语言模型评分系统，用于降低人类偏好偏差并支持跨任务比较模型评分。基于论文摘要，作者称该系统可量化影响人类偏好的偏差，并在利用既有基准分数时，将新模型和新任务的人类评估成本分别最多降低41%和77%，同时支持直接比较不同任务的评分。材料仅提供论文摘要，未说明实验规模、比较基线或完整方法细节。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org