LLM裁判实体对齐可靠性研究

一项基于论文摘要的研究系统评估了三个前沿LLM评审在三个数据集和四个实体对齐系统上的可靠性。摘要报告，标签暴露会使J-ROC-AUC降至0.12–0.87，而无标签协议在特征明显的名称数据集上恢复至0.93–1.00、在生物医学数据对上恢复至0.93–0.95；反事实实验和102对样本的双盲人工评估支持标签暴露导致判别能力下降的解释。

摘自 arXiv · cs.AI

还没有足够的连续观测数据，暂不绘制趋势。