跳到正文
热点事件持续更新

LLM 语义查询处理存在温度0下方差,投票可减不能除

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

一项语义查询处理研究通过重复执行 SemBench、LRO-Bench 和 UDA-Bench,共记录 120 万次模型调用,发现即使温度设为 0,五次执行中仍有 0.07% 至 10.2% 的行改变算子输出,单个任务最高达 24.0%。 方差还可能被查询计划放大:在 UDA-Bench 中,少量抽取值变化即可影响约三分之二的答案;SemBench 已发表结果中 21% 的文本结果质量会随执行改变。研究称投票可降低但不能消除方差。当前材料仅基于论文摘要。

AI 根据报道生成 · 47 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月12日
  1. arXiv · cs.AI
    语义查询处理研究揭示大语言模型运行的行级与答案级方差

    研究者重复执行SemBench、LRO-Bench和UDA-Bench,记录120万次模型调用,发现即使温度为0,五次执行中仍有0.07%至10.2%的行改变算子输出,单个任务最高达24.0%。查询计划可能进一步放大变化:UDA-Bench中少量抽取值变化即可影响约三分之二的答案,SemBench已发表结果中21%的文本结果质量会随执行改变;投票可降低方差但不能消除,当前材料仅基于论文摘要。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。