跳到正文
热点事件持续更新

MemCut基准:评估LLM智能体按用户请求遗忘记忆的效果

1 篇报道1 个报道来源6 小时前更新

先了解这件事

AI 综述

Cheng Zhang等人在arXiv发布MemCut基准,用于评估LLM智能体在用户请求删除敏感信息后,长期记忆中的残留可恢复性。基准包含456个手工设计的秘密,置于长程对话中并带完整证据链标注,可测试删除后能否恢复,包括从未直接说出秘密的消息中的恢复。 基准区分原生恢复和残余恢复两类指标,在五种记忆设计、四个LLM及三类删除基线上测试。作者在论文摘要中报告:删除已披露内容能明显降低原生恢复,但在二十个检索候选中额外用LLM删除十个轮次后,残余恢复仍为39%—76%;这些实验表明候选覆盖范围是参考基线中影响删除效果的主要瓶颈。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月16日
  1. arXiv · cs.AI
    MemCut:评估LLM Agent长期记忆用户请求遗忘的基准

    Cheng Zhang等人提出MemCut基准,用于评估LLM Agent在用户请求后遗忘敏感信息的程度,包含456个手工设计的秘密及其证据链。该基准区分原生恢复和残余恢复,并在五种记忆设计、四个LLM及三类删除基线上测试。作者在论文摘要中报告,删除披露内容能明显降低原生恢复,但额外删除二十个检索候选中的十个轮次后,残余恢复仍为39%—76%;候选覆盖范围是影响删除效果的主要瓶颈。

本事件热度走势

可比范围当前
8
可比范围峰值
910月16日 16:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。