论文用部分生成区分提示有害性与交互安全性

Ram Vikas Mishra 等在 arXiv 发表论文，提出通过模型部分生成结果提前判断交互是否安全，避免仅因提示词有害就直接拒绝可能可以安全回答的请求。 基于论文摘要：研究用 Llama、Gemma、Qwen 三个系列的七个开放权重模型构建了 41,944 组提示词—响应对，其中提示词有害性与响应有害性标签的一致率仅 50.46%，Cohen's κ 为 0.06。微调分类器预测响应级有害性的最优 AUPRC 为 0.885、F1 为 0.807；约三分之一的响应 token 即可恢复接近完整响应的 AUPRC。 这些结果尚属论文报告，材料未说明是否经独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。