RT-J：85M 参数关系型基础模型预训练

论文作者发布 85M 参数关系型基础模型 RT-J，称其可在仅数百个或更少的上下文示例下完成关系数据预测。预训练数据为作者构建的 Join 数据集：639 个网络抓取数据库、6023 个 LLM 生成的预测任务，上下文最长 8192 个数据库单元格，并使用轻量随机游走检索器提供上下文示例。 作者称在 RelBench 上下文回归任务上，RT-J 平均少用 10 倍示例即可匹敌由 LLM-agent 或 RDBLearn 特征器与 TabICLv2 或 LightGBM 预测器组成的强特征工程流水线。测试时计算还可通过轻量随机游走检索器、上下文调优与集成扩展。以上为论文声称的结果，尚待独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。