LLM 语义查询处理存在温度0下方差,投票可减不能除
热点事件持续更新
LLM 语义查询处理存在温度0下方差,投票可减不能除
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
一项语义查询处理研究通过重复执行 SemBench、LRO-Bench 和 UDA-Bench,共记录 120 万次模型调用,发现即使温度设为 0,五次执行中仍有 0.07% 至 10.2% 的行改变算子输出,单个任务最高达 24.0%。 方差还可能被查询计划放大:在 UDA-Bench 中,少量抽取值变化即可影响约三分之二的答案;SemBench 已发表结果中 21% 的文本结果质量会随执行改变。研究称投票可降低但不能消除方差。当前材料仅基于论文摘要。
AI 根据报道生成 · 47 分钟前更新
最新进展10月12日 12:00
语义查询处理研究揭示大语言模型运行的行级与答案级方差报道时间线
沿着报道,了解事件的不同侧面。
10月12日
- arXiv · cs.AI语义查询处理研究揭示大语言模型运行的行级与答案级方差
研究者重复执行SemBench、LRO-Bench和UDA-Bench,记录120万次模型调用,发现即使温度为0,五次执行中仍有0.07%至10.2%的行改变算子输出,单个任务最高达24.0%。查询计划可能进一步放大变化:UDA-Bench中少量抽取值变化即可影响约三分之二的答案,SemBench已发表结果中21%的文本结果质量会随执行改变;投票可降低方差但不能消除,当前材料仅基于论文摘要。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。