TAMELM-AFMoER 1B 发布:引入黑洞绳机制
原标题:reaperdoesntknow/TameForCasualLM
AI 摘要
研究者 reaperdoesntknow 在 Hugging Face 发布 TAMELM-AFMoER (1B) 模型,在原有 421M 版本基础上引入 Blackhole Rope(BHR)机制,通过类引力吸引子稳定多时间尺度路由并放大推理信号。模型采用 16 专家稀疏路由、CPU 单机 FP32 训练,仅用约 100 万 token 即达到 loss 3.8,仍处于预训练阶段。作者称其训练速度反而快于更小的 421M 基座,并计划探索绳张力调参、亚 100M 边缘版本等方向。
正文节选
--- library_name: transformers license: apache-2.0 datasets: - O1-OPEN/OpenO1-SFT - WeMake/Intelligent-Content-Understanding language: - en pipeline_tag: text-generation tags: - Conversational - Cot - Symbiotic - symbioticai - Conversation Al - math - physics - convergentintel --- # Model Card for TAMELM-AFMoER (1B) — Blackhole Rope Expansion ### Time Aware Model of Emergence / Adaptive Fuzzy Model of Expert Routers **With Blackhole Rope Dynamics** --- ## Research Vision This model builds