时点语言模型系列发布：4B参数、月度检查点防回测泄漏

Bryan Kelly 等研究者发布论文，训练了最高40亿参数的 decoder-only Transformer，使用1万亿个按时间过滤的 FineWeb token，构建覆盖2013—2024年的月度时间点语言模型检查点，目的是减少金融和社会科学回测中的未来信息泄漏。 论文作者称，这些模型在同等规模下接近用无时间限制数据训练的领先开放权重模型（如 Gemma-3-4B 和 LLaMA-7B）的表现，但在若干任务上仍存在性能差距。团队同时开放了完整管线，包括数据集构建、训练基础设施和评测代码，以支持可复现的时间点语言建模。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。