160M Dolma 3 Mix 实验检查点与 dAtA[iNdEx] 剂量扫描
原标题：294-288-pretrain-interaction/160M-exp
AI 摘要
研究者发布了基于 EleutherAI/pythia-160m 的 160M GPT-NeoX 实验检查点，在 Dolma3-16B 数据集的 M/C/G 源池上进行了五次训练运行（Clean、M500、C500、G500、MCG500），每个运行训练约 160 亿 token。此外还发布了 2026 年 10 月的 24 次运行剂量扫描结果，使用四 token 的 dAtA[iNdEx] 触发词，覆盖 M/C/G/MCG 载体与 10 至 500 的剂量组合。这些权重属于实验性研究产物，结果包中不包含模型权重，检查点需从可信来源加载。
正文节选
--- model_name: 160M Dolma 3 Mix experiment checkpoints base_model: EleutherAI/pythia-160m tags: - text-generation - gpt-neox --- # 160M Dolma 3 Mix experiment checkpoints Five 160M GPT-NeoX training runs on the separate M/C/G source pools in [Dolma3-16B](https://huggingface.co/datasets/294-288-pretrain-interaction/Dolma3-16B). `Clean`, `M500`, `C500`, `G500`, and `MCG500` are separate run directories under `runs/`. Each contains all existing `step-*.pt` checkpoints, including the final `step-1