cRia-LM-75M：75.7M 参数递归 Transformer 基座模型发布
原标题：sz14/cRia-LM-75M
AI 摘要
Hugging Face 上发布了 cRia-LM-75M，一个 75.7M 参数的基座语言模型，采用 Relaxed Recursive Transformer（RRT）架构，用 11 层共享循环块执行两次遍历，第二次遍历使用 rank-172 LoRA 参数。训练分三阶段：Stage 1 在 10B token 上预训练 2K 上下文，Stage 2 用 2B token 预算做能力中训并采用双教师蒸馏，Stage 3 将上下文扩展到 4,096 token。该模型为未做指令微调的基座模型，使用 SmolLM2 分词器，遵循 SmolLM2-135M 层设计并加入 QK-Norm。
正文节选
--- license: apache-2.0 language: - en library_name: transformers pipeline_tag: text-generation tags: - rrt - recursive-transformer - small-language-model - knowledge-distillation - base-model - custom_code - arxiv:2410.20672 datasets: - HuggingFaceFW/fineweb-edu - HuggingFaceTB/dclm-edu - HuggingFaceTB/smollm-corpus - HuggingFaceTB/cosmopedia - HuggingFaceTB/finemath - bigcode/starcoderdata - epfml/FineWeb-HQ - wikimedia/wikipedia - nvidia/Nemotron-CC-Math-v1 - codelion/sutra-1B --- # CRIA-LM-7