预注册评测：LLM威胁情报实体抽取的失效与置信度校准

Jiahong Qian发布一项预注册、冻结设置的评测论文，在包含354起事件、315份独立报告的公开语料上，评测DeepSeek-V4-Flash、GLM-5.3-Flash两个新一代低成本LLM，并以GPT-6.1-Sol作为旗舰级对照，考察其在网络威胁情报实体抽取中的表现。 评测对照金标准打分抽取质量，并考察置信度校准与单句扰动下的鲁棒性。论文强调置信度分层只能用于设定人工复核优先级，不能当作真值。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。