arXiv · cs.AI· Yiqian Huang, Yang Zhou, Qianying Liu, Shaowen Peng, Yuntao Kong, Kotaro Funakoshi, Chuan Xiao, Manabu Okumura, Yang Cao, Shuyuan Zheng·· 6 小时前
《大模型何时适用错误法律》:诊断LLM时间法律推理失败
When Do LLMs Apply the Wrong Law? Diagnosing LLM Failures in Temporal Legal Reasoning
arXiv:2608.14610v2阅读论文 PDF ↗
仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。
作者:Yiqian Huang, Yang Zhou, Qianying Liu, Shaowen Peng, Yuntao Kong, Kotaro Funakoshi, Chuan Xiao, Manabu Okumura, Yang Cao, Shuyuan Zheng
研究任务与主要进展
Yiqian Huang等人提出Temporal Applicable-Law Determination(TALD)任务,并基于跨越民法典施行的51,956份中国民事裁判构建TALD-Bench,评测九个先进大语言模型。研究发现,模型在新法案件上的准确率超过70%,但旧法案件低于25%;加入时间法律提示可显著改善表现,但也会增加版本推理的不确定性。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出?
- 代码、模型、数据、许可与可用入口是否明确?
- 效果、总成本、失效条件与实际工作流如何验证?
这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源:arXiv · cs.AI · arxiv.org