提出JudgeProfile评估框架
热点事件观察中
提出JudgeProfile评估框架
1 篇报道1 个报道来源2 天前更新
先了解这件事
报道摘要
Qi Cao等人提出JudgeProfile框架，将LLM评审对回答的感知与属性优先级分离，并用于引导其评价决策。基于论文摘要，研究构建了来自17个公开数据源的50,013个回答对，由21个LLM评审按87项属性进行评估；属性重加权使留出一致率从66.48%提升至71.97%，优于微调和评分标准提示。
摘自 arXiv · cs.AI
最新进展10月7日 12:00
JudgeProfile：分解并引导LLM评审的主观性报道时间线
沿着报道，了解事件的不同侧面。
10月7日
- arXiv · cs.AIJudgeProfile：分解并引导LLM评审的主观性
Qi Cao等人提出JudgeProfile框架，将LLM评审对回答的感知与属性优先级分离，并用于引导其评价决策。基于论文摘要，研究构建了来自17个公开数据源的50,013个回答对，由21个LLM评审按87项属性进行评估；属性重加权使留出一致率从66.48%提升至71.97%，优于微调和评分标准提示。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。