arXiv · cs.AI· Wonjeong Jo, Gyuwan Kim, Ming Shan Hee·· 6 小时前
LLM文本评分中的量表敏感性评估：改变评分数会改变答案
Change the Number, Change the Answer: Assessing Rating Scale Sensitivity in LLM-Based Text Scoring
arXiv:2610.22187v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Wonjeong Jo, Gyuwan Kim, Ming Shan Hee
研究任务与主要进展
该论文研究不同评级量表设计如何影响LLM对政治倾向、情感和毒性文本的评分，并将变化区分为数值敏感性与语义敏感性。基于论文摘要，实验交叉测试2种格式、4种范围、2种符号、2种提示策略和5个LLM，发现单个量表元素平均使标准化分数变化约0.10，并改变约20%文本的类别；毒性任务的敏感性最高，基于rubric的提示未降低敏感性。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org