arXiv · cs.AI· Yuyang Dai, Yuting Tang, Futoshi Futami, Takashi Ishida·· 1 天前
ProbabilityBench：用精确真值不确定性评估并校准模型
ProbabilityBench: Model Evaluation and Calibration with Exact Ground-Truth Uncertainty
arXiv:2610.17016v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Yuyang Dai, Yuting Tang, Futoshi Futami, Takashi Ishida
研究任务与主要进展
作者提出 ProbabilityBench，在三个模拟文本领域中为每个样本计算精确的条件类别概率和 Bayes error，用于直接评估模型概率质量。该方法通过 KL divergence 衡量报告概率，并可作为元评估框架检验标准校准指标与 Bayes-error 估计器；摘要称其在同行评审、隐蔽信息传递和信用风险环境中评估了16个模型，发现成本—质量 Pareto 前沿上的多数模型属于决策模型。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org