返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3309 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月21日周三 · 15 条
正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11763:OpenCL 后端新增小批量 GEMM 变体并修复越界读

llama.cpp 发布 b11763 版本,主要针对 OpenCL 后端做优化:为小批量场景新增多个 GEMM 变体(q4 k dp4a、mul mm f16 f32 l4 lm 窄变体、gemv noshuffle q1 0 f32 单子组变体),修复 mul mv mxfp4 f32 flat 的越界读取,移除强制大 N 走 CPU 权重的限制,并按工

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11759:ggml-zdnn 引入 flash attention 算子

llama.cpp 发布 b11759 版本,核心变更是为 ggml-zdnn 后端引入 flash attention 算子(PR #30512),由 IBM 的 Aaron Teo 贡献,同时新增 scratch buffer pool 并补充相关文档说明。该版本同步提供 macOS/iOS、Linux、Android、Windows 等多平台多后端(C

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源模型发布

i14 在 AWS Trainium2 上用原生 PyTorch 训练与部署 Laplace 3B 线性注意力模型

i14 公司设计了采用门控线性注意力(GLA)的 Laplace 3B 模型,其循环状态固定为每序列 29.5 MB,不随上下文长度增长。i14 与 AWS 合作,通过 TorchNeuron Native 的原生 PyTorch 支持将该架构移植到 AWS Trainium2,保留了 GLA 设计与 Muon 优化器。在单台 trn2.48xlarge 实

正文结构化主题已通过公开置信门槛
TechCrunch AI商业

SpaceX AI 业务超预期,占三季度营收 52%

SpaceX 第三季度营收 146 亿美元,其中 AI 业务(含 Grok 智能体、Cursor 编程工具及算力云业务)贡献 52% 的收入,达 75 亿美元、利润 4.31 亿美元,超出投资者预期。公司正从太空企业转向以 AI 为核心,并大举投入 Colossus II 数据中心与星舰项目,季度资本开支达 196 亿美元。马斯克称超智能部署的瓶颈已从芯片转

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

H2O Lightning 4B 发布 GGUF 量化版本

H2O.ai 在 Hugging Face 发布了 H2O Lightning 4B 的 GGUF 量化版本,供 llama.cpp 使用。该模型以带概率的类型化决策(choice、noul、score)输出结果,官方推荐 Q8 0 文件,并给出各精度档位相对 BF16 的准确率与答案一致率对比。llama.cpp 已合并相关支持,用户可直接通过 llama

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11757:CUDA 内存池刷新后清理 CUDA graphs

llama.cpp 发布 b11757 版本,主要变更是 CUDA 后端在旧版内存池刷新后清理 CUDA graphs(#26771),该改动由 Claude Opus 5.5 辅助完成。发布同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA 12/13、Vulkan、ROCm、SYCL、OpenVIN

正文结构化主题已通过公开置信门槛
Latent Space商业

SF Compute:从卖房间到经营酒店,打造可编程数据中心

SF Compute CEO Evan Conrad 在 Latent Space 播客中介绍公司从转租 GPU 集群扩展为具备云运营能力的算力交易市场,强调「物理结算」——买家获得可用算力而非现金结算。他解释了如何通过匹配不同约束条件的订单让非标准化算力可交易,并讨论现货与远期定价、批处理与实时推理租赁的区别。Conrad 认为英伟达等拥有大型硬件或推理业

正文结构化主题已通过公开置信门槛
THE DECODER模型发布

Elevenlabs 发布两款实时语音到语音模型

Elevenlabs 发布了两款名为 Eleven Realtime 的语音到语音模型。其中 Max 版本在 Big Bench Audio 基准上得分 98.8%,响应时间为 0.57 秒,官方称在 Artificial Analysis 排行榜上没有模型能同时更快且更准确。较小的 v1 Mini 面向低成本自然对话,能判断对方是否说完或只是回应。两款模型

正文结构化主题已通过公开置信门槛
THE DECODER开源

Deepseek 开源其最快最便宜模型的推理引擎

Deepseek 以 Apache License 2.0 协议开源了其内部推理框架 DeepInfer,该框架基于 vLLM 构建,包含优化的计算内核、多芯片分布式处理和更快的文本生成技术,用于支撑其 V4.1-Flash 模型的高效推理服务。Deepseek 同时发布了 deepseek-recipe,用于复现官方 API 的 token 处理流程,使自

正文结构化主题已通过公开置信门槛
TechCrunch AI开源

Google 开源 TorchTPU,联合 Amazon 挑战 Nvidia 在 AI 开发者中的主导地位

Google 宣布开源 TorchTPU,这是其长期开发的 PyTorch 版本,可让 AI 应用无需重写代码、仅通过配置变更即可运行在 Google 的 TPU 及 Google Cloud 上。此前一天,Amazon 也发布了类似工具 TorchNeuron,支持将 PyTorch 应用迁移至其自研芯片 Trainium 和 AWS。两家公司正联手削弱

正文结构化主题已通过公开置信门槛
GLM New Releases一手来源模型发布

智谱 GLM 系列模型更新公告:GLM-5.3-Flash 多模态模型上线

智谱(GLM)发布新版本公告,集中列出从 2025 年 6 月至 2026 年 8 月的模型上线记录。最新上线的是 GLM-5.3-Flash 原生多模态模型,采用线性注意力与稀疏注意力混合架构(总参 320B、激活 18B),可主动观察界面并迭代改进,覆盖代码、浏览器与图形界面协同闭环。此前 GLM-5.3 旗舰模型在编程基准上较 GLM-5.2 提升 5

正文结构化主题已通过公开置信门槛
智东西开源

DeepSeek开源推理框架DeepInfer与token编解码组件

DeepSeek开源了内部大规模云服务推理框架DeepInfer和生产级token编解码组件deepseek-recipe,并发布详细技术报告。DeepInfer支持分布式推理、推测解码、SWA Bounded Replay和结构化输出,可在英伟达与华为昇腾平台运行,支撑DeepSeek V4.1 Flash实现单集群155万亿Tokens/天吞吐、每卡每小

正文结构化主题已通过公开置信门槛
Langfuse Releases一手来源产品发布

Langfuse 发布 v4.66.0:新增 Topics 可见性开关并修复多项问题

Langfuse 发布 v4.66.0 版本,主要新增 Topics 可见性的统一开关功能,并修复了会话中空推理消息展开、Web 端 Owner 角色选择权限、I/O 区块折叠显示、OTel 元数据字符串存储以及应用内 agent 的 Bedrock v4 工具调用等问题。此外还包含查询 AST 重构和摄取流程支持技能目录名称/版本等杂项改动。

正文结构化主题已通过公开置信门槛
Interconnects AI政策

开放模型动态:DeepSeek V4.1 Flash、美制模型与中美新监管

中国商务部发布政策提案,拟要求前沿AI模型在向国际共享前获得政府预审批,但开源技术将自动获批;美国国土安全部发布命令,限制DeepSeek作为供应商参与联邦民事采购。DeepSeek随后公开其内部推理栈DeepInfer,据估计在其上销售token的毛利率可达90%,可能推动其模型价格下降。此外,小米MiMo-V2.6-Pro-RL、DeepSeek-V4.

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源产品发布

AWS Bedrock 加拿大区域通过跨区域推理接入 OpenAI GPT 模型

AWS 宣布加拿大区域的客户可通过 Amazon Bedrock 的跨区域推理(CRIS)访问 OpenAI 的 GPT-5.6、GPT-6 和 GPT-6.1 系列模型,请求会从加拿大源区域路由至北美或全球支持区域处理。文章介绍了各模型的定位、US geographic 与 Global 两类推理配置文件、IAM 权限与 SCP 配置,以及通过 OpenA

10月20日周二 · 5 条
正文结构化主题已通过公开置信门槛
MIT Technology Review AI商业

企业 AI 的新经济学:从 token 成本转向有效产出成本

HPE 赞助内容指出,企业 AI 正从零散的聊天机器人试验转变为基础性生产系统,衡量指标应从 token 或 GPU 小时单价转向「每个有用产出的有效成本」。文章比较了自建栈、按需消费和集成私有 AI 平台三种模式,强调拥有 GPU 并不自动改善经济性,需要足够需求与运营纪律,并通过模型路由、GPU 分区、KV-cache 管理等手段提升利用率。HPE 借此

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Kromoss:MOSS-Image-Base 全量微调文生图模型发布

开发者 lodestones 在 Hugging Face 发布了 Kromoss,这是对 OpenMOSS-Team 的 MOSS-Image-Base 在 1024px 分辨率下进行全量微调得到的文生图模型,采用与 MOSS-Image-SFT 相同的架构、推理流程、Qwen3.5-9B 文本编码器和 FLUX.2 small VAE,可直接替换使用。该

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11756:Anthropic /v1/messages 透传 id slot

llama.cpp 发布 b11756 版本,修复了 server 端在 Anthropic /v1/messages 接口转换过程中未透传 id slot 参数的问题。此前该接口会忽略 id slot,导致依赖固定 slot 复用 KV cache 的代理回退到自动 slot 选择,在混合/循环模型上触发完整重新 prefill。该改动使 /v1/mess

正文结构化主题已通过公开置信门槛
量子位模型发布

MiniMax M3.1 Flash 发布:Agent 跑分国产第一,成本降至前代三成

MiniMax 正式发布此前在 OpenRouter 匿名屠榜的 Space Bunny(玉兔)模型,代号 M3.1 Flash。该模型在 Agents' Last Exam 上得分 29.6%,位列国产模型第一,并在 Coding、网络安全、Computer Use 等基准进入全球第一梯队,输出速度最快 200+ TPS。价格方面,输入每百万 Token

另有 2 家信源报道

正文结构化主题已通过公开置信门槛
THE DECODER模型发布

Cloudflare 发布 Clairic:文档数据提取比 LLM 更快更便宜

Cloudflare 发布 AI 模型 Clairic,称其从文档中提取数据的速度和成本均优于大语言模型。该模型已在 Workers AI 上提供预览,开放权重即将跟进。用户指定所需字段后,Clairic 单次返回带置信度的结构化结果,可与 LLM 及其他模型串联使用;Cloudflare 称一条包含提取、决策和回复的链路耗时 19.3 秒,而单独使用 GL

另有 1 家信源报道