NVIDIA等将发布印度语预训练语料

NVIDIA与IIT Madras的AI4Bharat宣布即将发布Nemotron-pretraining-Indic-v1预训练语料，包含约2.8万亿个标记、覆盖22种印度语言，并同步开放用于生成该语料的GPU加速流水线。目前内容仍是发布预告，尚未说明正式开放时间。 使用方可在发布后根据训练所需的语言和文字体系检查样本、查看数据集卡与许可；生成工具只返回候选数据及评分，具体哪些记录进入训练语料仍由使用方的筛选政策决定。

AI 根据报道生成 · 5 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。