返回全部动态
微型语言模型极端过训练实验：性能在峰值后显著下降
原标题：Extreme Overtraining in Tiny Language Models
AI 摘要
Hugging Face 博客发布了一项关于微型语言模型（0.9M参数）极端过训练的实验结果。实验将训练数据量推高至每参数约222K tokens，发现模型在20B tokens时达到最佳性能（INT Index 4.55），之后继续训练至180B tokens时性能下降27.3%。实验表明，对于约1M参数的模型，每参数20K-30K tokens是有效范围，过度训练会导致性能退化。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
But how much higher is safe? This post documents what happens when you push a 0.9M parameter model to a ratio of ~222,000 tokens per parameter. Short version: the model overtrained hard, and every metric peaked around 20B tokens (22K:1) before degrading for the remaining 160B tokens. We wanted to train a 0.9M parameter model and figured a 222K:1 ratio would give us maximum intelligence. It didn't. The config: - Architecture: 6 layers, 96 hidden dim, SwiGLU intermediate 380, GQA 6Q/2KV, 384 vocab
发布时间：—
抓取时间：2026-08-13 06:40
来源机构：Hugging Face