返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3304 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月23日周五 · 20 条
正文结构化主题已通过公开置信门槛
Agno Releases一手来源开源

Agno 发布 v3.1.10:修复 CodexAgent 登录与外部 Agent 管理

Agno 发布 v3.1.10 版本,主要修复多项问题:CodexAgent 现在可通过 OPENAI API KEY 自动登录,同时保留已有的 ChatGPT 或其他登录状态;OS Manager 可按名称或 ID 列出并运行注册在 AgentOS 中的外部 agent(如 ClaudeAgent、CodexAgent);知识上传接口在缺少文件、text

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Minimax-h3 Singularity V2 INT8 微调视频生成模型发布

开发者 WarmBloodAban 在 Hugging Face 发布 Minimax-h3 Singularity V2 INT8,这是基于 MiniMaxAI/MiniMax-H3 微调融合的多模态视频生成模型,支持文生视频、图生视频、参考生视频和视频生视频,可在 ComfyUI 中使用。V2 版本扩展了动作场景覆盖、增强了提示词遵循度、修复了音频参考条

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Futurix-AI 发布 26.1B 决策分类模型 FxAI Decision Model

Futurix-AI 在 Hugging Face 发布 FxAI Decision Model,这是一个基于 perplexity-ai/pplx-decider-v1.1-27b(其上游为 Qwen3.8-27B)微调而来的决策分类模型,参数量 26.1B,以 FP8 权重存储,并附带 Futurix Decision SDK。该模型可在给定状态、问题和

正文结构化主题已通过公开置信门槛
量子位产品发布

一张5090跑起34B实时世界模型,达瓦科技拿下英伟达大奖

重庆达瓦科技凭借实时世界模型产品Scenes AI,在2026 NVIDIA创业企业展示半程展示中拿下「半程展示卓越企业奖」。该产品不逐帧预测画面,而是维护可读写的世界状态,只更新变化部分,在单张RTX 5090消费级显卡上实现720P、25帧实时输出,34B总参数每步仅激活约4B。其技术路线强调控制层与渲染层分离、世界记忆与物理约束,并依托重庆永川片场积累

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

超算走出实验室:并行科技谈算力从科研转向产业的迁徙

并行科技行业事业部总经理吕昇亮在采访中表示,超算需求已从过去以高校科研为主(占比超70%-80%)转向以企业为主,企业端算力需求急剧增长且对时效性要求提高。并行科技提出「夕发朝看」按需算力模式与「并行算网」,已接入约63个算力中心(四十多个智算中心、十几个超算中心),通过应用运行特征分析软件在4小时内判断客户应用类型并匹配性价比最优资源。公司定位为不做模型的

正文结构化主题已通过公开置信门槛
量子位模型发布

国产5B生图模型MOSS-Image海外爆火,4天超百万下载

模思智能与OpenMOSS团队开源发布5B参数文生图模型MOSS-Image,上线4天在海外社区获得130万次下载,登顶Hugging Face文生图趋势榜。该模型重点优化中英文文字渲染、JSON Layout布局控制和4096 tokens长提示词支持,并剔除训练数据中的AI生成图像以提升画面自然感。社区已快速产出加速、量化版本与LoRA,模型API同步上

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

硅基流动:以Token生产力助力央国企大模型规模化落地

硅基流动解决方案总监唐安波在2026秋季央国企CIO峰会上分享,提出「Token生产力=产能×利用率×交付质量」公式,并介绍四层解耦推理架构(模型网关、模型服务平台、高性能推理框架、算力调度)。公司已适配近百款模型,并与华为云、沐曦、摩尔线程等国产芯片合作优化推理性能。案例中某央国企将约50台机器从「租机器」改为Serverless模型服务,模型收敛至约十个

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11836 构建版本

llama.cpp 发布构建版本 b11836,主要变更为 CANN 后端补充缺失的 const 限定符以保持一致性(#30933)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO、Snapdragon 等后端。此次更新属于常规构建发布,对终

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11835:SYCL 后端修复与多平台构建

llama.cpp 发布 b11835 版本,主要变更是 SYCL 后端将设备传入 mul mat uses onednn(PR #31014)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新属于开源推理框架的常规构建发布,

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

亿铸科技完成10亿+元融资,加速通用存算一体产业化

亿铸科技完成10亿+元融资,该公司是国内首家通用存算一体架构(GP-IMC®)AI大算力芯片公司。公司坚持“通用存算一体+超异构”技术路线,围绕3D DRAM存算一体布局,产品兼容CUDA、PyTorch等主流生态,面向数据中心、AI云计算等场景。此次融资将用于研发投入、产品迭代及产业化推进。

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

FlexVDR:为视觉文档检索学习分配套娃表示预算

论文提出 FlexVDR 框架,在单一检索器内为每个查询自适应分配表示预算。它构建了联合覆盖编码器深度、嵌入宽度和 token 数量的路由族,并用 Budget Allocator 根据早期查询特征预测各路由的检索效用,再结合可配置的资源偏好选择路由。在 ViDoRe V1/V2/V3 上跨五个骨干模型的实验显示,该方法在多数情况下保留原生检索质量,同时可为

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

微服务核心银行平台的整合部署版本:按引用将服务组合进三个主机

该论文研究一个多租户 .NET 核心银行平台的第二种部署版本:将五个 API 服务通过项目引用组合进一个 API 主机,与消费者主机和后台主机共同部署,服务代码仍保留在原仓库中,两个版本从同一提交构建。在 AWS 部署仿真中,组合版暴露全部 844 个操作,47 个财务负载用例结果一致,读取吞吐量为原版的 2.3 倍,内存占用不到一半,服务任务计算成本降低

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

Meta Expert:面向存储与检索高效 MoE 的跨层专家共享

该论文提出 Meta Expert 方法,通过在 MoE 模型的不同层之间共享元专家,减少层间专家的冗余存储。实证对比显示,在激活专家数量和专家粒度固定的条件下,Meta Expert 模型仅用 70–80% 的专家数量即可达到 Vanilla MoE 的性能,且模型越深越大节省越明显。该方法已在 Intern-S2-Mobius 中完成规模化验证,并开源了

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

SpaceX与特斯拉拟合并;Anthropic上半年净亏807亿美元

10月21日多条科技资讯:马斯克证实SpaceX与特斯拉已成立特别委员会研究合并可能性,若达成将成为全球最大规模企业合并案;Anthropic被曝2026年上半年净亏损807亿美元,其中720亿来自可转换票据会计费用,并预计未来数年再花7500亿美元购买算力;17岁天才少年陈广宇从月之暗面Kimi离职后加入Jeff Dean创办的Discovery Loop

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11829:server 端修正 rerank 占位符替换

llama.cpp 发布构建版本 b11829,主要变更是 server 端仅从原始模板中替换 rerank 占位符(PR #30864)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 及 Snapdragon 等后端。此次更新属于小型

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11828:修复 realtime API 音频提交完成时机

llama.cpp 发布 b11828 版本,修复了 server 端 realtime API 的音频提交完成时机问题。此前以流耗尽作为完成触发的代理判断,会导致尾部排空期间追加的音频混入已提交项、排空前最后一次提交合并两项、连续提交被合并。新方案通过 mtmd audio stream flush() 记录刷新音频结束时的行数,并在 slot 中维护结束

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

KindlingAI 发布 GLM-5.3 exlr8 三档量化权重

KindlingAI 在 Hugging Face 发布了 GLM-5.3 的 exlr8 量化版本(K2/K3/K4 三档位宽),基于 744B MoE 的 GLM-5.3-BF16 构建,面向 NVIDIA GB10 统一内存设备、以 TP=3-7 张量并行方式部署。该格式复用 EXL3 的 trellis 编码,但引入 FP8 E4M3 舍入码本、按专

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

Comfy-Org 发布 Flux-2-Dev 的 ComfyUI 重打包量化模型

Comfy-Org 在 Hugging Face 上发布了 Flux-2-Dev 的 ComfyUI 重打包模型文件,将 black-forest-labs 的 FLUX.2-dev 原始权重进行量化(fp8/fp4 mixed)并整理为可直接放入 ComfyUI 目录结构的单文件格式。仓库同时包含 ByteZSzn 提供的 Turbo LoRA 以及 Mi

正文结构化主题已通过公开置信门槛
MIT Technology Review AI观点

设计可持续的 AI 服务工程系统

EXL 赞助内容指出,企业 AI 的竞争优势正从模型能力转向围绕模型构建的服务工程系统(serving harness),涵盖架构、内存管理、调度与优化。文章建议技术负责人从工作负载而非模型出发,先测量并定位主要瓶颈再优化,并构建可适应模型与硬件变化的架构,以可靠、经济、可扩展地交付 AI 能力。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11827:OpenCL 新增 Adreno depthwise conv2d

llama.cpp 发布 b11827 版本,主要变更是为 OpenCL 后端新增 Adreno GPU 上的 depthwise conv2d 支持,由高通工程师参与贡献。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此举提升了 llam