跳到正文
热点事件观察中

论文论证递归自改进系统的安全验证算法不可判定

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

Jose Pascual Gumbau Mezquita 在 arXiv 发布论文(v4)《Algorithmic Unverifiability of Safety for Fixed and Recursively Self-Improving Systems》,论证自修改 AI 系统的安全性保持不存在算法验证:固定系统上的安全验证困难会扩展到递归自我改写系统,依赖行为的改写可归结为 Rice 定理,涉及代码改写的验证至少具有停机问题难度。 作者声称,依赖有限行为证据的方案可能在每个阶段都认证通过、最终仍出现安全属性被违反;摘要还报告了在有限环境下策略验证为 coNP-complete、策略合成为 PSPACE-complete。 作者强调这些不可能性结果不是说自修改系统不安全,而是指出算法保证失效的位置:系统需要图灵完备的表达力和不受限制的自我修改。目前仅有论文摘要,未提供完整证明或实验细节。

AI 根据报道生成 · 1 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv · cs.AI
    递归自我改进系统的安全验证具有算法不可判定性

    论文摘要提出,固定系统上的 AI 安全验证困难会进一步扩展到递归自我改写系统,依赖行为的改写可归结为 Rice 定理,涉及代码的改写至少具有停机问题难度。作者声称,依赖有限行为证据的方案可能在每个阶段都认证通过却仍出现安全属性被违反;摘要还报告了有限环境下策略验证为 coNP-complete、策略合成为 PSPACE-complete。研究基于论文摘要,未提供完整证明或实验细节。

本事件热度走势

可比范围当前
5
可比范围峰值
910月15日 14:00
近 24 小时变化
-50%

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。