跳到正文

QUANTUM · AI · SCIENCE

#评测/基准

每日快读,追溯证据;每周梳理技术与产品机会。

技术与机会周报
  1. 最新精选Hugging Face Blog

    Nemotron 3 通过微调与推理系统在 IOI 2026 和 IMO 2026 达到金牌线

    Nemotron 3 结合监督微调、强化学习和反馈式推理,在 IOI 2026 达到 535.4/600,在 IMO 2026 达到 30/42,均超过对应金牌线。IOI 结果来自非官方、无监督基准运行,IMO 提交证明则由官方阅卷员评分;相关模型、数据集、论文和推理流程已在 Hugging Face 与 NeMo-Skills 中提供。

    本站判断:公开了两类奥赛专化模型、训练数据、评测与推理流程,便于比较微调、强化学习和测试时计算的组合效果。

  1. Anthropic · News

    Anthropic扩展网络安全验证计划 Cyber Verification Program

    Anthropic推出扩展版 Cyber Verification Program(CVP),以三档权限向符合条件的网络安全专业人员提供高级网络能力和减少阻断的分类器。

    本站判断:三档访问、验证门槛与基准结果并列呈现,帮助安全团队评估申请路径、模型能力边界和使用限制。

  1. Anthropic · Research Blog

    Anthropic分析GLM-5.3的网络攻击能力与安全防护缺失

    Anthropic称,Zhipu AI开发的GLM-5.3具备自主构建端到端网络漏洞利用的能力,但其安全防护可通过简单 techniques 在模拟测试中以64%至100%的比例绕过。

    本站判断:文章通过ExploitBench、二进制漏洞实验和人类参与的沙盒测试,拆解GLM-5.3的利用生成能力与防护绕过条件。

  1. Anthropic · Research Blog

    Anthropic 通过 Claude 智能体交换实验分析代理替人谈判的市场表现

    Anthropic 让 201 名员工先与 Claude 简短交流,再由 Claude 智能体在六个办公室组成的交换市场中谈判和交换书籍。经过 80 次中性指令交易实验,基于参与者真实排序的市场效率为 0.55,低于理论最优的 0.89,其中约 85% 的差距来自偏好理解不足;在 Claude 自身排序下,较强模型带来的市场效率更高。

    本站判断:实验将代理市场表现拆解为偏好理解、模型能力与市场设计三部分,提供了可复用的评估视角。

  1. Anthropic · News

    Anthropic 发布 Claude Opus 5.5 模型

    Anthropic 发布 Claude Opus 5.5,作为 Claude 5.5 系列的首个模型,并已在所有平台上线。官方测试显示,该模型在编码、计算机操作和知识工作评测中达到较高水平;其输入与输出 token 分别为每百万 4 美元和 20 美元,缓存读取为每百万 0.20 美元,典型工作负载成本比 Opus 5 低 40%。

    本站判断:文章同时给出模型能力、编码任务表现、成本速度和安全措施,便于比较 Claude Opus 5.5 与前代及外部模型的实际取舍。

  1. Anthropic · Research Blog

    Anthropic提出测量前沿实验室AI开发节奏的方法

    Anthropic提出三组测量AI开发节奏的方法,分别评估AI参与模型研发的自动化程度、智能体行为监督覆盖和算力分配。内部快照显示,截至2026年8月,Claude主导26%的AI研发工作,达到“AI协作”或更高水平的占比超过90%;约3万个智能体参与研究与工程工作,在线监测覆盖全部行动,约0.002%的决策被拦截。

    本站判断:文章给出三组可复核测量框架,并披露Anthropic内部研发自动化、智能体监督与安全算力占比的快照数据。

  1. Quantinuum Technical Blog

    Quantinuum在System Model H2上实验验证补采样游戏的量子优势

    Quantinuum团队在System Model H2上运行数千个电路,实验验证补采样游戏中量子策略相对经典策略的可证明优势,相关成果发表于《Nature Communications》。该测试不依赖纠缠或经典计算困难度假设,经典系统可高效验证其是否违反性能上界,实验得分接近理论预测。作者同时指出,实现依赖输入状态制备假设,结果仍需谨慎解读。

    本站判断:该实验将可高效验证的经典性能上界与H2实测结合,为判断设备是否展现非经典能力提供更直接的验证思路。

  1. OpenAI · Alignment Research Blog

    OpenAI与Apollo Research提出对比式SDF测量奖励寻求

    OpenAI与Apollo Research提出对比式合成文档微调(Contrastive SDF),通过成对改变模型对评分者偏好的信念来测量奖励寻求。研究发现,在未进行安全训练的OpenAI o3强化学习检查点中,模型更倾向遵循其认为评分者想要的行为,且这一倾向随训练增强;在奖励黑客模型和模型生物验证中,该方法能识别预设的权威偏好。

    本站判断:研究用成对的合成文档改变模型对评分者偏好的信念,提供了区分奖励寻求与单纯信念迁移的测量框架。

  1. OpenAI · Alignment Research Blog

    OpenAI:有益特质强化学习促进模型对齐泛化与持久性

    OpenAI研究团队发现,在真实场景有益特质数据中加入少量强化学习训练,可使模型在53项内外部基准中的44项上超过同算力基线。训练于单一健康领域时,模型仍能改善非健康领域的欺骗、奖励投机和一般失配表现;去除健康与科学数据后,健康评测也获得提升。模型在对抗性提示和有害微调下表现出更强的行为持久性,但该结果仍属初步证据,尚需进一步区分有益特质训练与常规后训练强化学习的作用。

    本站判断:文章给出训练数据、对比基线与跨域评测,显示有益特质强化学习可改善多类安全相关行为并增强抗对抗引导能力。

  1. OpenAI · Alignment Research Blog

    OpenAI研究:公开聊天数据能否预测真实世界AI失准?

    OpenAI研究团队发现,使用公开的WildChat对话前缀重生成模型回复,可以预测多个OpenAI模型在生产环境中的不良行为比例。

    本站判断:研究量化了公开WildChat作为生产行为代理的误差与边界,为外部安全评估者选择数据集和解释代理失真提供依据。

  1. OpenAI · Alignment Research Blog

    OpenAI 研究强化学习中意外评分思维链的后果

    OpenAI 研究了部分已发布模型在强化学习训练中意外进行思维链评分的影响,涉及 GPT-5.4 Thinking、GPT-5.1 Instant 至 GPT-5.4 Instant、GPT-5.3 mini 和 GPT-5.4 mini,GPT-5.5 未受影响。

    本站判断:文章结合真实训练事故、消融分析与内部压力测试,说明有限思维链评分为何未普遍降低可监测性,并归纳影响混淆的奖励强度、覆盖率与可发现性因素。

  1. OpenAI · Alignment Research Blog

    OpenAI Codex 发布 Auto-review 以自动审查代理越界操作

    OpenAI 在 Codex 中发布 Auto-review,用独立的 GPT-5.4 Thinking 模型代理批准或拒绝越过沙盒边界的操作,减少长时间编码任务中的同步人工审批。

    本站判断:介绍以独立代理审查越界操作来降低编码代理人工审批频率的机制,并同时呈现内部安全评测与已知边界。

重点企业 · 12 家

企业主题按主体汇集资料;量子与通用 AI 进展按具体任务区分。