ReasoningShield：CoT 推理轨迹安全审核基准与轻量模型

Changyi Li 等论文作者发布 ReasoningShield，一个用于检测大推理模型中间推理轨迹（CoT）有害内容的基准、数据集与 1B/3B 轻量审核模型，并公开资源。作者称其模型在该基准上达到 91.8% F1，比 LlamaGuard-4 高 35.6%，比 GPT-4o 高 15.8%；并称现有主流审核工具在 CoT 审核上的 F1 较答案审核最多下降 35.2%。 该基准包含 9.2K 条标注的（Query, CoT）对，附结构化分步风险分析，其中训练集 7K 条、人工标注测试集 2.2K 条，覆盖 10 个风险类别、3 个安全级别和 8 个不同推理范式的大推理模型。以上数字与对比结果均为作者声称，基于论文摘要。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。