MemCut基准:评估LLM智能体按用户请求遗忘记忆的效果
热点事件持续更新
MemCut基准:评估LLM智能体按用户请求遗忘记忆的效果
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
Cheng Zhang等人在arXiv发布MemCut基准,用于评估LLM智能体在用户请求删除敏感信息后,长期记忆中的残留可恢复性。基准包含456个手工设计的秘密,置于长程对话中并带完整证据链标注,可测试删除后能否恢复,包括从未直接说出秘密的消息中的恢复。 基准区分原生恢复和残余恢复两类指标,在五种记忆设计、四个LLM及三类删除基线上测试。作者在论文摘要中报告:删除已披露内容能明显降低原生恢复,但在二十个检索候选中额外用LLM删除十个轮次后,残余恢复仍为39%—76%;这些实验表明候选覆盖范围是参考基线中影响删除效果的主要瓶颈。
AI 根据报道生成 · 3 小时前更新
最新进展10月16日 12:00
MemCut:评估LLM Agent长期记忆用户请求遗忘的基准报道时间线
沿着报道,了解事件的不同侧面。
10月16日
- arXiv · cs.AIMemCut:评估LLM Agent长期记忆用户请求遗忘的基准
Cheng Zhang等人提出MemCut基准,用于评估LLM Agent在用户请求后遗忘敏感信息的程度,包含456个手工设计的秘密及其证据链。该基准区分原生恢复和残余恢复,并在五种记忆设计、四个LLM及三类删除基线上测试。作者在论文摘要中报告,删除披露内容能明显降低原生恢复,但额外删除二十个检索候选中的十个轮次后,残余恢复仍为39%—76%;候选覆盖范围是影响删除效果的主要瓶颈。
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 910月16日 16:00
- 近 24 小时变化
- –
02.557.510
16:0017:0018:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。