返回全部动态

百度开源文心5.5 Flash Base,同尺寸基准刷新SOTA

原标题:百度开源文心5.5 Flash Base,多基准测试刷新同尺寸模型 SOTA

量子位开源质量 57

AI 摘要

百度于11月5日正式开源基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base),采用MoE架构,总参数2800亿、每Token激活140亿,预训练使用33.5万亿Token,支持最长100万Token上下文。该模型在知识、推理、数学、代码、多语言和长上下文等基准上取得同尺寸模型SOTA,超过DeepSeek-V4-Flash-Base等模型。模型在注意力机制、专家路由和训练目标上做了系统性效率优化,为开发者提供可微调定制的基座能力。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

百度开源文心5.5 Flash Base,多基准测试刷新同尺寸模型 SOTA 11月5日,百度正式开源最新基座模型文心5.5 Flash Base 11月5日,百度正式开源最新基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base)。模型采用MoE架构,总参数量2800亿,每个 Token 激活140亿参数,使用33.5万亿个 Token 完成预训练,预训练上下文长度最高达128K,微调与推理阶段支持最长100万 Token上下文。在知识、推理、数学、代码、多语言和长上下文等多个基准测试中取得同尺寸模型 SOTA 表现,超过 DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base 等模型。 开源地址:https://huggingface.co/baidu/ERNIE-5.5-Flash-Base 随着大模型应用从文本问答向长文档分析、多轮交互和智能体任务延伸,模型需要处理的信息量持续增加,计算和显存开销也随之上升。在保证模型能力的同时提高资源利用效率,已成为大模型研发的重要课题。 文心 5.5 Flas


发布时间:2026-11-05 15:15
抓取时间:2026-11-05 16:12
来源机构:量子位
阅读原文qbitai.com