返回全部动态
CrowdGPT 发布社区分布式模型 Crowd-v1
原标题：Vxtzq/Crowd-v1
AI 摘要
CrowdGPT 在 Hugging Face 发布其首个社区分布式语言模型架构 Crowd-v1，参数量约 10 亿，采用 Transformer、GQA、RoPE、SwiGLU 与权重共享设计，目前仅训练 290 亿 token 且仍在预训练中。该发布提供部分训练权重与确定性初始化（seed 42）及 BF16/FP32 二进制格式，供 CrowdGPT 客户端下载并集体训练，模型本身尚不能生成连贯文本。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
--- license: mit language: - ia pipeline_tag: text-generation datasets: - openbmb/Ultra-FineWeb-L3 - HuggingFaceFW/fineweb - Vxtzq/CrowdGPT --- # Crowd-v1 **CrowdGPT's first community-distributed language model architecture.** Trained on **29B tokens** as of today * **Model:** Crowd-v1 * **Organization:** CrowdGPT * **Parameters:** ~1B * **Architecture:** Transformer * **License:** MIT * **Status:** Training in progress * **Repository:** https://github.com/Vxtzq/CrowdGPT * **CrowdGPT:** http
发布时间：2026-11-11 06:20
抓取时间：2026-09-04 17:06
来源机构：Hugging Face