返回全部动态
CrowdGPT 发布社区分布式模型 Crowd-v1
原标题：Vxtzq/Crowd-v1
AI 摘要
CrowdGPT 发布了其首个社区分布式语言模型架构 Crowd-v1，约 10 亿参数，采用 Transformer、GQA、RoPE、SwiGLU 和权重绑定设计。该模型以随机初始化权重发布，并非预训练模型，目的是为 CrowdGPT 客户端提供统一的模型定义和权重格式，供参与者共同进行分布式训练。发布包含 BF16/FP32 权重文件、配置和 SHA-256 校验，当前训练进度为 16 亿 token。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
--- license: mit language: - ia pipeline_tag: text-generation datasets: - openbmb/Ultra-FineWeb-L3 - HuggingFaceFW/fineweb - Vxtzq/CrowdGPT --- # Crowd-v1 **CrowdGPT's first community-distributed language model architecture.** Trained on **1.6B tokens** as of today * **Model:** Crowd-v1 * **Organization:** CrowdGPT * **Parameters:** ~1B * **Architecture:** Transformer * **License:** MIT * **Status:** Training in progress * **Repository:** https://github.com/Vxtzq/CrowdGPT * **CrowdGPT:** htt
发布时间：2026-09-27 05:27
抓取时间：2026-09-04 17:06
来源机构：Hugging Face