随机种子与温度导致LLM拒答标签18%—28%翻转

Erik Larsen在论文摘要中报告：四个指令微调模型（Llama 3.1 8B、Qwen 2.5 7B、Qwen 3 8B、Gemma 3 12B，来自三个家族）在876个有害提示上，于4种温度×5个随机种子共20种采样配置下测试，发现18%—28%的提示（随模型不同）出现拒绝、部分服从或服从标签的翻转，即仅改变采样配置就会改变安全拒答决策。 作者称用Claude 3.5 Haiku作为统一外部评判模型，在全部模型家族上验证了上述发现。该结果提示安全评估结论对采样设置敏感，单次配置下的拒答率可能不稳定。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。