Bemula基准：LLM智能体按请求遗忘记忆几乎全部失败

Bofan Xie 等作者发布 Bemula 基准，用于评估 LLM 智能体能否按用户请求删除指定记忆，据称是首个专注记忆遗忘的基准。基于论文摘要，基准包含 50 组多轮对话、135 条六类遗忘请求和 1,742 个测试问题，数据与代码已开源（github.com/Nboxff/bemula-benchmark）。 评测结果为负面：六种主流记忆系统在三种骨干 LLM 上的测试（其中两种还测了 Full Context LLM）显示，没有系统端到端通过超过 1.5% 的遗忘请求，多数系统几乎全部失败。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。