arXiv · cs.AI· Yiding Ma, Chengyun Ruan, Kaibo Huang, Jin Tan, Zhongliang Yang, Linna Zhou·· 12 小时前
OracleProto：基于知识截止与时间遮蔽的大语言模型预测基准框架
OracleProto: A Reproducible Framework for Benchmarking LLM Forecasting via Knowledge Cutoffs and Temporal Masking
arXiv:2605.03762v2阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Yiding Ma, Chengyun Ruan, Kaibo Huang, Jin Tan, Zhongliang Yang, Linna Zhou
研究任务与主要进展
Yiding Ma等提出OracleProto，用于在知识截止约束和时间遮蔽环境中可复现地评测大语言模型预测能力。该框架支持现实网页检索、泄漏检测、已解决事件重构建及统一归一化和分层评分，研究评估了27个模型配置、300个FutureX-Past衍生问题和24,300次预测试验，报告时间遮蔽与泄漏过滤后的残余泄漏率为1.37%。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org