SImi-2B 公开权重发布:JAX/Flax 训练的 Llama 风格模型
原标题:YNSScarSaiyan/simi-weights
AI 摘要
开发者 Dakuwon Moody 在 Hugging Face 发布了 SImi-2B 的公开权重镜像,这是一个约 23.2 亿参数的 Llama 风格因果语言模型,使用 JAX/Flax 在 AMD MI300X 上以 bf16 训练。该仓库仅提供权重,不包含架构源码、训练器或 Transformers 检查点,因此无法通过 AutoModel.from_pretrained 加载。训练数据混合了 Tulu-3、OpenHermes-2.5、UltraChat 等指令数据以及 Orca AgentInstruct、Agent-FLAN、xLAM 等 agent/工具调用数据。
正文节选
--- library_name: flax pipeline_tag: text-generation license: apache-2.0 language: - en tags: - weights-only - no-source - jax - flax - orbax - bfloat16 - llama-style - gqa - swiglu - agent - tool-use - amd - mi300x base_model: YNSScarSaiyan/simi --- # SImi-2B public weights Public **weights-only** mirror. No architecture source, no trainer, no private recovery tree. SImi-2B is a custom Llama-style causal LM trained in **JAX/Flax** on an AMD **MI300X**. This repo i