PresenceBench 基准发布：评估 LLM 用户状态适应

Peña Arroyo Gallego 等发布探索性评估基准 PresenceBench，衡量大语言模型利用给定用户功能状态改善响应的能力，将该能力拆分为响应性（receptivity）与特异性（specificity）两个维度。 探索性评估覆盖四款模型，场景包括 18 个单轮、6 个固定三轮和 6 个模拟自然对话任务。结果显示特异性未能解决：没有任何单一模型的置信区间排除随机水平，且现有设计尚无法把具体状态值的作用与“一般性地要求模型去适应”区分开。正确性非劣效也未确立。作者表示适应跨状态这一第三个维度是必要终点，但本版本未测量。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。