DeepNarra 发布 Paham-Experimental 三层持续学习模型
原标题:DeepNarra/Paham-Experimental
AI 摘要
DeepNarra 在 Hugging Face 发布实验性模型 Paham-Experimental,采用三层「清醒-睡眠」持续学习架构:推理时冻结基础 GGUF 权重,仅在前向传播缓冲区更新循环快权重;系统空闲时用 75% 预训练锚点加 25% 实时交互做回放,训练 Sidecar-QLoRA 与 MoE 路由门控,再重新量化为 1.58-bit 三元 GGUF。该模型基于 fineweb-edu、aya_collection 等数据集,配套提供可离线运行的自主持续训练 Notebook。
正文节选
--- license: apache-2.0 language: - en - multilingual tags: - deepnarra - paham-experimental - awake-continuum - 3-tier-learning - qlora - fast-weights - 92-experts - h-moe - bitnet-b158 - tq1_0 - gguf - safetensors datasets: - HuggingFaceFW/fineweb-edu - CohereForAI/aya_collection - m-a-p/CodeFeedback-Filtered-Instruction - HuggingFaceH4/no_robots pipeline_tag: text-generation --- # 👑 DeepNarra Paham-Experimental: 3-Tier Awake-Sleep Continuum <div align="center"> [![License: Apache-2.0](http