跳到正文
热点事件持续更新

UDHRBench:评测大模型人权合规的新基准

1 篇报道1 个报道来源7 小时前更新

先了解这件事

AI 综述

Hamad Bin Khalifa University 研究团队发布 UDHRBench,用于评测大语言模型对《世界人权宣言》的合规情况,并配套 LLM-as-a-Judge 评测框架。 基准包含覆盖全部 30 条宣言的 1,124 个人权对抗性问题,收集 ChatGPT、Grok、Gemini 和 Fanar 四个模型共 4,496 条回复,由专家人工标注对齐情况;评测框架在检测人权不一致方面达到 89.8% 加权 F1 分数。 数据集、标注和代码将作为开源资源发布(https://sina.birzeit.edu/UDHRBench)。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月14日
  1. arXiv · cs.AI
    UDHRBench:基于《世界人权宣言》评测大语言模型人权合规性

    研究团队提出UDHRBench,用于评测大语言模型对《世界人权宣言》国际人权标准的遵守情况。该基准包含覆盖全部30条宣言的1,124个对抗性问题和四个模型(ChatGPT。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。