arXiv · cs.AI· Shuyuan Zheng, Yun-seo Lee, Xing Gao, Jialu Wu, Jiabao Hu, Katrina Qiyao Wang, Xinbo Lin, Qianying Liu, Chuan Xiao, Tao Huang·· 6 小时前
LePhilBench：诊断大模型的法律哲学推理能力
How Do LLMs Understand Legal Philosophy? Diagnosing Legal-Philosophical Reasoning in LLMs
arXiv:2610.19427v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Shuyuan Zheng, Yun-seo Lee, Xing Gao, Jialu Wu, Jiabao Hu, Katrina Qiyao Wang, Xinbo Lin, Qianying Liu, Chuan Xiao, Tao Huang
研究任务与主要进展
一项研究提出 LePhilBench，用于评估大语言模型（LLM）能否理解并应用法律哲学进行法律推理。基准包含两个任务：分别考察 LLM 对法律哲学的理解和在法律推理中的应用；数据集由人工构建，测试集含 220 份美国最高法院意见，由一位法学教授设计 14 个法律哲学标注问题、三名受过法理学训练的标注者作答，共产生 9,240 个法律哲学标签。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org