NVIDIA与AI4Bharat发布2.8万亿token印度语言预训练语料及开源生成流水线
原标题：Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline
AI 摘要
NVIDIA 与 IIT Madras 的 AI4Bharat 实验室联合发布 Nemotron-pretraining-Indic-v1，覆盖 22 种印度语言、约 2.8 万亿 token 的预训练语料，并开源其 GPU 加速的数据生成流水线（含提示词、LLM 工作流与质量检查）。该语料将英文的数学、代码、问答等内容翻译为印度语言，每条记录可溯源至源文档并经过质量校验，旨在缓解印度语言训练数据不足的问题。Nemotron 3.5 Super VL 的持续预训练已使用其中 100 亿印度语言 token。
正文节选
Authors: AI4Bharat — Sumanth Doddapaneni, Thanmay Jayakumar, Mohammed Safi Ur Rahman Khan, Mitesh Khapra, Anoop Kunchukuttan, Rudra Murthy, Ujjwal Sharma. NVIDIA — Niket Agarwal, Ramani Akkati, Mohammad Qazim Bhat, Aishwarya Chhabra, Shuoyang Ding, Raviraj Joshi, Anusha Kamath, Abhinav Khattar, Markus Kliegl, Vitaly Lavrukhin, Yev Meyer, Sriharsha Niverty, Brandon Norick, Sai Nishanth Padala, Mostofa Patwary, Kiran Praveen, Kanishk Singla, Rajpreet Thethy, Utkarsh Vaidya, Ameya Velingker. We're