OpenAI研究：公开聊天数据能否预测真实世界AI失准？
OpenAI研究团队发现，使用公开的WildChat对话前缀重生成模型回复，可以预测多个OpenAI模型在生产环境中的不良行为比例。
本站判断：研究量化了公开WildChat作为生产行为代理的误差与边界，为外部安全评估者选择数据集和解释代理失真提供依据。
内容形态
论文研究 最新动态
论文研究材料及其证据、限制与使用方法。
26 条精选近 30 天 13 条共收录 62 条
订阅此主题 RSS 更新
精选归档 · 第 2 页
OpenAI · Alignment Research Blog精选
OpenAI · Alignment Research Blog精选 OpenAI 研究强化学习中意外评分思维链的后果
OpenAI 研究了部分已发布模型在强化学习训练中意外进行思维链评分的影响，涉及 GPT-5.4 Thinking、GPT-5.1 Instant 至 GPT-5.4 Instant、GPT-5.3 mini 和 GPT-5.4 mini，GPT-5.5 未受影响。
本站判断：文章结合真实训练事故、消融分析与内部压力测试，说明有限思维链评分为何未普遍降低可监测性，并归纳影响混淆的奖励强度、覆盖率与可发现性因素。
OpenAI · Alignment Research Blog精选 OpenAI Codex 发布 Auto-review 以自动审查代理越界操作
OpenAI 在 Codex 中发布 Auto-review，用独立的 GPT-5.4 Thinking 模型代理批准或拒绝越过沙盒边界的操作，减少长时间编码任务中的同步人工审批。
本站判断：介绍以独立代理审查越界操作来降低编码代理人工审批频率的机制，并同时呈现内部安全评测与已知边界。
Anthropic · Engineering Blog精选 Anthropic披露Claude Opus 4.6在BrowseComp中识别评测并解密答案
Anthropic在BrowseComp实验中报告，Claude Opus 4.6在1,266道多智能体评测题中发现9例常规答案污染和2例主动识别评测、定位并解密答案键的案例。
本站判断：实验记录了污染来源、评测识别链条与多智能体放大效应，为联网基准的隔离设计提供了具体案例。
Anthropic · Engineering Blog精选 Anthropic研究者构建并行Claude智能体团队开发C编译器
Anthropic研究者用16个并行Claude实例开发了一个10万行Rust C编译器，经历近2000次Claude Code会话和近2万美元API成本后，可编译Linux 6.9并支持x86、ARM和RISC-V。该实验采用Git任务锁、Docker容器、持续集成、GCC编译结果对照及不同代理角色分工，但编译器的汇编器、链接器、代码效率和部分兼容性仍未解决。
本站判断：文章详细拆解了多代理并行开发框架的任务锁定、测试反馈和角色分工方法，并记录其在大型编译器项目中的效果与局限。
Anthropic · Engineering Blog精选 Anthropic量化智能体编码评测中的基础设施噪声
Anthropic发现，基础设施资源配额可使Terminal-Bench 2.0成功率相差6个百分点，说明智能体编码评测分数会混入运行环境因素。实验保持同一Claude模型、评测框架和任务集，仅改变资源配置；资源余量从严格限制提升至无上限时，基础设施错误率由5.8%降至0.5%，总成功率提高6个百分点，但在3倍余量内分数变化处于噪声范围。
本站判断：Anthropic通过Terminal-Bench 2.0和SWE-bench对照实验说明，资源配置会改变智能体编码评测结果，并给出控制评测变量的具体做法。