NII 发布 LLM-jp-4.1-32B-A3B 推理模型 GGUF 版
原标题：llm-jp/llm-jp-4.1-32b-a3b-thinking-gguf
AI 摘要
日本国立情报学研究所（NII）大语言模型研发中心发布 LLM-jp-4.1 系列中的 llm-jp-4.1-32b-a3b-thinking 模型，这是一个采用 MoE 架构、总参数 32B、激活参数约 3.8B、上下文长度 65,536 的推理模型。模型经 11.7T token 预训练与中期训练，再通过 SFT 和 DPO 对齐（未使用强化学习），并公开了大部分训练语料与后训练数据集。该模型以 Apache-2.0 许可在 Hugging Face 发布 GGUF 版本，但使用 llama.cpp 运行需依赖官方 fork，上游版本尚不支持其 tokenizer 处理。
正文节选
--- license: apache-2.0 language: - en - ja programming_language: - C - C++ - C# - Go - Java - JavaScript - Lua - PHP - Python - Ruby - Rust - Scala - TypeScript pipeline_tag: text-generation library_name: transformers inference: false --- # llm-jp-4.1-32b-a3b-thinking LLM-jp-4.1 is a series of large language models developed by the [Research and Development Center for Large Language Models](https://llmc.nii.ac.jp/) at the [National Institute of Informatics](https://www.nii.ac.jp/en/). This re