FuriosaAI 发布适配 RNGD 的 Llama-3.1-8B FP8 模型包
原标题：furiosa-ai/Meta-Llama-3.1-8B-Instruct-FP8-dynamic
AI 摘要
FuriosaAI 在 Hugging Face 发布 furiosa-ai/Meta-Llama-3.1-8B-Instruct-FP8-dynamic，该仓库在 RedHatAI 的 FP8 动态量化版 Llama-3.1-8B-Instruct 基础上附带 Furiosa Executable Bundle（FXB），可在 FuriosaAI RNGD 加速卡上通过 Furiosa-LLM 运行。模型线性权重为静态 FP8 量化、激活在推理时按 token 动态量化，并支持 llama3_json 工具调用解析器。在 RNGD 上采用 8 个 PE 的张量并行，对应单张 RNGD 卡，服务端提供 OpenAI 兼容 API。
正文节选
--- base_model: RedHatAI/Meta-Llama-3.1-8B-Instruct-FP8-dynamic language: - en - de - fr - it - pt - hi - es - th license: llama3.1 license_link: https://huggingface.co/meta-llama/Llama-3.1-8B-Instruct/blob/main/LICENSE pipeline_tag: text-generation library_name: furiosa-llm tags: - furiosa-ai - llama - llama-3 - fp8 --- # Llama-3.1-8B-Instruct-FP8-dynamic This repository contains [RedHatAI/Meta-Llama-3.1-8B-Instruct-FP8-dynamic](https://huggingface.co/RedHatAI/Meta-Llam