返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3302 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月26日周一 · 20 条
正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

OpenBMB 发布 MiniCPM-V 4.7 1B 端侧多模态模型

OpenBMB 在 Hugging Face 发布 MiniCPM-V 4.7 的 1B 版本,延续该系列的单图、多图与视频理解能力,主打端侧高效推理。模型采用视觉编码器内早期压缩与 4x/16x 混合视觉 token 压缩,官方称在整体得分和推理效率上明显优于 Qwen3.5 0.8B。它支持 iOS、Android、HarmonyOS 及多家芯片平台,并

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering产品发布

Cloudflare 发布 Auto Router 公测:按请求风险与复杂度自动选模型

Cloudflare 通过 AI Gateway 发布 Auto Router 公测版,用户将模型设为 cloudflare/auto 后,由分类器按请求选择模型。路由分两阶段:先构建候选池并过滤不支持的请求格式,再用多任务分类模型在边缘 GPU 上按 14 类任务和复杂度、歧义、风险、上下文依赖四个维度打分。Cloudflare 公布的基准显示,可靠性提升

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11896:修复 WebGPU memset 竞态

llama.cpp 发布 b11896 版本,主要修复了 CI 中 WebGPU memset 的竞态问题(#31162)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新属于常规构建发布,对普通用户影响有限,主要提升 CI

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11895:修复 Metal 大矩阵输出偏移溢出

llama.cpp 发布 b11895 版本,主要修复 Metal 后端在大矩阵输出偏移场景下的整数溢出问题,并加宽了 batch 偏移与 MUL MAT ID token 索引的数据宽度。该改动由 Codex 辅助完成,属于底层推理引擎的稳定性修复,可避免 Apple 设备上大模型推理时因偏移溢出导致的错误。同时该版本照例提供覆盖 macOS、Linux、

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

FuriosaAI 发布适配 RNGD 的 Llama-3.1-8B FP8 模型包

FuriosaAI 在 Hugging Face 发布 furiosa-ai/Meta-Llama-3.1-8B-Instruct-FP8-dynamic,该仓库在 RedHatAI 的 FP8 动态量化版 Llama-3.1-8B-Instruct 基础上附带 Furiosa Executable Bundle(FXB),可在 FuriosaAI RNGD

正文结构化主题已通过公开置信门槛
量子位商业

NeoLab转售GPU:模型训不出,改当算力黄牛

量子位报道称,部分由明星研究者创办、获得巨额融资的AI初创公司(Neolab)在模型训练受阻后,开始转售其提前锁定的GPU算力,方式包括转手长期租约、按天或按周出售闲置GPU实例,以及用开源模型提供按token计费的API服务。报道援引Dealroom数据称,29家典型Neolab累计融资230亿美元,但推出商业化产品的不足35%,并提到马斯克评论称算力短缺

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Google DeepMind 发布 Gemma 4 系列开源多模态模型

Google DeepMind 在 Hugging Face 发布 Gemma 4 系列开源模型,包含 E2B、E4B、12B、26B A4B、31B 五种尺寸,采用 Dense 与 MoE 混合架构,支持文本、图像、视频及部分尺寸的音频输入,上下文窗口最高 256K。该系列强化推理、编码与原生函数调用能力,并引入多 Token 预测(MTP)草稿模型,通过

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

IBM Granite Speech 4.1-2b NAR 的 GGUF 量化版发布

handy-computer 在 Hugging Face 发布了 IBM Granite Speech 4.1-2b NAR 模型的 GGUF 量化版本,供 transcribe.cpp 推理框架使用。该模型采用非自回归架构,通过一次前向传播完成 CTC 假设编辑,支持英语、法语、德语、西班牙语和葡萄牙语离线语音转文字。量化后 Q4 K M 仅 1.56G

正文结构化主题已通过公开置信门槛
量子位商业

商汤大装置拿下中国近50%新云份额

沙利文与头豹研究院发布《中国全栈AI云服务市场报告2026H1》,显示商汤科技旗下AI基础设施平台商汤大装置(SenseCore)在中国Neocloud(新云)赛道占据近50%份额。商汤大装置通过异构混推(PD分离)、算电协同Agent等方案提升国产芯片利用率与Token产出效率,其日均Token服务量从年初4000亿增长至9月底6万亿,并计划四季度达到日均

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

KRAFTON 发布 Raon-1 mini GGUF 量化版本

KRAFTON AI 在 Hugging Face 发布了 Raon-1 mini preview 的 GGUF 量化版本,供 llama.cpp 使用,文件由同一检查点的 BF16 权重转换而来,Q6 K 及更小量化使用了 imatrix。Raon-1 mini 是 KRAFTON AI 从零训练的 30B-A4B MoE 语言模型,采用混合注意力架构,原

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

MiniCPM-V 4.7 1B 发布 GGUF 量化版,面向端侧多模态推理

OpenBMB 在 Hugging Face 发布 MiniCPM-V 4.7 1B 的 GGUF 量化版本,基于 llama.cpp,面向端侧部署。该 1B 多模态模型采用 LLaVA-UHD v4 的 ViT 内早期压缩与 4x/16x 混合视觉 token 压缩,官方称在整体得分和推理效率上明显优于 Qwen3.5 0.8B。模型支持 iOS、Andr

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

Huihui Qwen3.8-27B 消融版 NInfer FP8/NVFP4 量化发布

Hugging Face 用户 lyf 发布了基于 huihui-ai/Huihui-Qwen3.8-27B-abliterated 的 NInfer 量化产物,采用 FP8 与 NVFP4 混合精度,面向 Blackwell 架构(RTX 5090、sm120)。该仓库同时提供原始 v2 与 v3 兼容版本,v3 仅更新容器与聊天模板、保持全部 1118

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

MiniMax 发布 M3-MXFP8 量化多模态模型

MiniMax 在 Hugging Face 发布 MiniMax-M3-MXFP8,这是原生多模态模型 MiniMax-M3 的 MXFP8 量化版本,约 428B 总参数、23B 激活参数,支持 1M 上下文。该模型从训练第一步即进行混合模态训练,并引入 MiniMax Sparse Attention(MSA)提升长上下文效率,在 1M 上下文下相比

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论开源

DeepSeek 开源推理框架 DeepInfer,AI 编写算子同周登顶两大榜单

DeepSeek 全面开源推理框架 DeepInfer,继模型权重和 FlashMLA、DeepGEMM 等算子库之后,进一步开放模型运行链路;其 FlashMLA 人工手调版本算子性能达到硬件极限的 90% 以上。同一周内,完全由 AI 编写算子、无人工逐行调优的 ForgeKernel 同时登顶英伟达 SOL-ExecBench FlashInfer-B

正文结构化主题已通过公开置信门槛
量子位商业

趋境科技完成超13亿元B轮融资,加速高品质AI Token规模化交付

趋境科技(Approaching.AI)完成超13亿元人民币B轮融资,年内累计募资24亿元,由浙财创新、萧山资本、工银投资等联合领投,商汤科技、网宿科技等跟投。公司主打高品质AI Token生产服务,半年内核心经营指标增长超十倍,日均Token产量增至超万亿量级,并称已跨过成本线。资金将用于产能扩张、ATaaS平台升级及推理底层技术研发,同时推进基于国产芯片

正文结构化主题已通过公开置信门槛
量子位开源

港科CMU联手岩山科技开源EdgeRock-4B,KV Cache砍掉99%

岩山科技旗下岩芯矩阵联合港科大、CMU等高校发布并开源EdgeRock-4B模型,采用记忆岩锚(RMA)机制,将256K上下文下的KV Cache固定在72MiB,相比源模型Qwen3.5-4B减少99.1%。在单张80GB GPU上实现512路并发长推理,输出吞吐达12124 tokens/s,为源模型的6.42倍,同时AIME 2024-2026平均一次

正文结构化主题已通过公开置信门槛
量子位产品发布

声网发布对话式AI实时基础设施,提出五级对话能力框架

在iRTE2026实时智能大会上,声网创始人兼CEO赵斌提出「五级对话能力」框架,并展示Agora Conversational Model多模型协作混合对话系统、Conversational Agent System及分布式实时推理云方向,试图把实时网络、音频处理与推理基础设施整合为生成式AI时代的实时交互底座。大会同时汇集美团、阿里、MiniMax、阶跃

正文结构化主题已通过公开置信门槛
量子位产品发布

无问芯穹与三体宇宙联合发布智子Agent 1.0

无问芯穹与三体宇宙于10月25日在北京举行的2026三体日上宣布战略合作,并发布首个合作成果——具有智子人格特征的AI对话Agent“智子Agent 1.0”。无问芯穹以Agentic Infra产品与服务体系提供智能体开发、知识与记忆管理、推理服务等全链路支撑,通过AgentWorks平台、多Agent协同校验机制和PDD跨集群异构推理架构,解决角色还原、

正文结构化主题已通过公开置信门槛
量子位模型发布

10亿Tokens免费送!实测全国产算力模型Spark-X2.6,纯代码搓出3D故宫

量子位实测了讯飞发布的Spark-X2.6模型,该模型采用MoE架构,总参数293B、激活约30B,支持1M上下文,并在国产算力平台上完成训练与推理。文章重点展示了端云协同能力:4B端侧模型可离线完成经营复盘,敏感合同先在本地脱敏再交由云端审查,最后本地还原。讯飞同时提供10亿Tokens免费额度,并开源了Spark-X2.6-4B。

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

心智市场:512亿状态的智能经济

该论文提出 Markets of Minds 框架,在专家输出尚未观测之前,就把稀缺的专家推理能力以带类型、有预算约束的合约形式分配给多个智能体,并显式区分修复收益与回退风险。作者构建了包含 512 亿个可寻址人格-市场状态的依赖感知智能体经济,在 30% 援助配额下进行 240 个案例的匹配回放,冻结分配器达到 85.42% 的任务级人格遵循率,比等容量随