Wellocate基准发布:LLM代理在噪声测量下误配探索与确认预算
热点事件观察中
Wellocate基准发布:LLM代理在噪声测量下误配探索与确认预算
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
Abdul Karim 与 Matt Keon 提出 Wellocate 基准与强化学习环境,用于模拟测量活动中探索与确认的预算分配。作者称,测试的5个LLM代理(无工具、仅保留提示词内历史)在噪声测量下出现双向误配:部分反复复测,部分过度相信单次读数,最终选出的候选均逊于脚本基线策略。 基准建立在生成景观和GB1、PhoQ两个真实蛋白数据集上,数据经打乱以防模型凭记忆作答,并含冻结数据划分。作者称减少复测可改善真实蛋白数据上的选择,但运行摘要等干预最多带来5个百分点变化;代码、数据与环境已发布。
AI 根据报道生成 · 9 小时前更新
最新进展10月20日 12:00
LLM智能体在噪声测量下误配探索与确认预算报道时间线
沿着报道,了解事件的不同侧面。
10月20日
- arXiv · cs.AILLM智能体在噪声测量下误配探索与确认预算
基于论文摘要,作者提出Wellocate模拟测量活动并测试5个LLM智能体,发现它们在噪声下会双向误配探索与确认:部分智能体反复复测,另一些过度相信单次读数,导致最终候选均逊于基础脚本策略。削减复测可改善真实蛋白数据上的选择,但运行摘要等干预最多带来5个百分点变化;作者同时发布包含冻结数据划分、脚本基线及强化学习环境的基准与代码、数据和环境。
本事件热度走势
- 可比范围当前
- 5
- 可比范围峰值
- 610月21日 06:00
- 近 24 小时变化
- –
0246
06:0008:0010:0012:0014:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。