Qwen3-4B-Base 模型卡上线 Hugging Face

AI 摘要

Hugging Face 上出现了一个名为 ReliquaryForge/qwen3-4b-base-dapo-v4 的模型页面，内容为 Qwen3-4B-Base 的模型卡。该模型卡介绍了 Qwen3 系列在预训练语料、训练技术、三阶段预训练和超参数调优方面的改进，并给出 Qwen3-4B-Base 的 4.0B 参数、32k 上下文等规格。页面还提示需使用最新版 transformers，否则会报 KeyError: 'qwen3'。

正文节选

--- license: apache-2.0 library_name: transformers --- # Qwen3-4B-Base ## Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Building upon extensive advancements in training data, model architecture, and optimization techniques, Qwen3 delivers the following key improvements over the previously released Qwen2.5: - **Expanded Higher-Quality Pre-training Corpus:** Qwen3 is pre-trai

发布时间：2026-09-27 05:24

抓取时间：2026-08-19 18:57

来源机构：Hugging Face