Goodfire 发布读取模型内部激活的 Agent 监控器

可解释性初创公司 Goodfire 推出基于模型内部激活的监控器：用探针读取模型运行中的中间信号，仅在发现风险时才调用第二个 AI 进一步检查，并支持日志记录、人工审查或拒绝请求。产品已向托管和运行 AI 模型的 Baseten 客户开放，首个监测对象是开放模型 Kimi K3，可监测攻击、化学和生物武器滥用及奖励欺骗等风险。 据 Goodfire 的测试，探针捕获了 93% 的恶意黑客会话，并将 5.5% 的无害会话送入二次检查；在 Kimi K3 上监控约 100 万次交换成本约 185 美元，而用较便宜的 AI 模型逐步检查约需 5420 美元，用顶级模型约需 20 万美元。公司称同时运行四个探针给模型开始响应的时间带来的增加不到 2%。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。