NVIDIA与AI4Bharat发布2.8万亿token印度语言语料与开源数据管线

NVIDIA 与 IIT Madras 的 AI4Bharat 实验室宣布将开放 Nemotron-pretraining-Indic-v1 预训练语料，规模约 2.8 万亿 token（用 Gemma-4 tokenizer 统计），覆盖 22 种印度语言的原脚本数据及其中 12 种语言的拉丁字母转写，共 34 种语言—脚本配置。 语料将连同其开源、GPU 加速的数据生成管线一起发布，管线覆盖翻译、质量评估与修复环节；在 12 种语言的工作流中，翻译器同时充当质量评判角色。截至报道时语料标注为“即将发布”，尚未开放。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。