llama.cpp b12018：修复 SYCL 量化舍入问题
llama.cpp 发布 b12018 版本，主要修复 SYCL 后端在 CPY 操作中 f32 到 q2 0/q4 0/q5 0 的舍入问题（PR #31120）。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制，包含 CUDA、Vulkan、ROCm、SYCL、OpenVIN
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3295 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
10月31日周六 · 15 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
Parakeet-TDT-0.6B-v3 端侧多语言语音识别模型发布
Hugging Face 社区发布 litert-community/parakeet-tdt-0.6b-v3，将 NVIDIA 的 600M 参数 Parakeet-TDT 语音识别模型量化为 INT8 并打包为 .litertlm 单文件，支持 MediaPipe AudioTranscriber 与 LiteRT-LM 在 Android、iOS、ma
正文结构化主题已通过公开置信门槛
在 Kubernetes 上构建经校验的 NVIDIA Dynamo 运行时
NVIDIA 发布技术博客，介绍如何通过 NVIDIA AI Cluster Runtime（AICR）在 Kubernetes 上部署并验证 NVIDIA Dynamo 分布式推理框架。AICR 将 Dynamo 及其依赖的 GPU Operator、DRA 驱动、KAI Scheduler、Grove、Prometheus 等基础设施打包为带版本锁定和校
正文结构化主题已通过公开置信门槛
Altman：RAM 放数据中心比放个人电脑更合理
OpenAI CEO Sam Altman 在 Cheeky Pint 播客中表示，从全球资源分配角度看，把有限的 DRAM 放在个人电脑里、仅使用 5% 时间是「非常糟糕的」，应优先保证云端最大利用率。他回应了 OpenAI 大规模采购导致 RAM 供应紧张的问题，并反驳了「开源模型可本地推理、无需数据中心」的直觉。三星和 SK 海力士已与云服务商及 St
正文结构化主题已通过公开置信门槛
NVIDIA 用几条命令在 DGX Spark 上运行边缘 AI 模型
NVIDIA 发布技术博客，介绍在 64GB 版 DGX Spark 上通过 TensorRT Edge-LLM 的 trtedge CLI，用少量命令即可下载并构建 Nemotron-3.5 Lightning 模型引擎，在终端对话或通过 OpenAI 兼容 API 提供服务，并可用 DSpark 投机解码加速生成。实测开启 DSpark 后生成速度从约
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b12017：RPC 删除 fs path to utf8()
llama.cpp 发布 b12017 版本，主要变更是 RPC 模块删除 fs path to utf8() 函数（PR #31424，由 Adrien Gallouët 提交）。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO、Snap
正文结构化主题已通过公开置信门槛
Desert Ant Labs 发布端侧标题生成模型 Title
Desert Ant Labs 在 Hugging Face 发布名为 Title 的端侧文本标题与摘要生成模型，基于 IBM Granite 4.0 350M 微调，采用 6-bit 量化权重，仅支持 Apple 平台并通过 MLX 在 GPU 上运行。官方称其在 GPU 上生成文本比 Neural Engine 快 5.7-8.3 倍，Core ML 版
正文结构化主题已通过公开置信门槛
Desert Ant Labs 发布端侧多语言 emoji 推荐模型 Emo
Desert Ant Labs 在 Hugging Face 发布多语言端侧 emoji 推荐模型 Emo v0.7.0，支持 22 种语言，覆盖 iOS、Android、Windows、浏览器和 Node 等平台。模型与分词器合计约 5MB（Core ML）或 11MB（LiteRT），端侧推理耗时低于 2ms，并提供 Swift、Kotlin、JavaS
正文结构化主题已通过公开置信门槛
Google 卫星 AI 服务器传回首个太空响应
Google 宣布其搭载 TPU 的 Project Suncatcher 卫星在轨成功启动 Tensor Processing Units，使星载 Gemma 4 模型完成生成太空主题俳句等提示任务，并传回首个响应。Google 表示下一步将测试 TPU 在轨道热应力和辐射暴露下的表现，验证其在太空可靠执行工作负载，为 2027 年双星互联里程碑铺路。
正文结构化主题已通过公开置信门槛
NVIDIA 发布 Nemotron 3.5 Transcribe 与 Granary v2
NVIDIA 发布开源权重模型 Nemotron 3.5 Transcribe，将多语言转写、说话人分离、翻译和音频问答整合到单一检查点，支持 40 种语言转写、31 种语言与英语互译、13 种语言说话人标注，可处理长达一小时录音并标注最多 8 位说话人。该模型在 Hugging Face Open ASR 英文榜开源权重模型中排名第一（平均 WER 5.3
正文结构化主题已通过公开置信门槛
移动端轻量模型集合发布：Qwen3 与 GLM Edge 量化版
Hugging Face 上出现了一个名为 'good and small models' 的模型集合，由用户 flyingfishinwater 发布，旨在为移动设备提供轻量级 AI 模型。该集合包含 Qwen3-4B-Instruct-2507、Qwen3-4B-Thinking-2507 和 GLM Edge 4B Chat 等模型的 GGUF 量化版
正文结构化主题已通过公开置信门槛
在 AWS GovCloud 中配置 ChatGPT 桌面应用接入 Amazon Bedrock
AWS 博客介绍如何在 AWS GovCloud (US) 中配置 ChatGPT 桌面应用，使其通过 Amazon Bedrock 调用 OpenAI 前沿模型。配置将 Codex 的模型请求路由至 us-gov-west-1 的 Bedrock Mantle，并用 IAM 和现有网络控制进行治理，支持按 token 计费、零数据保留（ZDR）及数据驻留。
正文结构化主题已通过公开置信门槛
Google 首颗数据中心卫星上线，搭载 TPU 与 Gemma 4 写诗
Google 的 Suncatcher 太空数据中心原型卫星已上线并与地面通信，该卫星搭载一颗 TPU、发电功率最高 1 kW，并预载了 Google DeepMind 的 Gemma 4 模型，首次提示词要求其写一首关于太空的俳句。由于 TPU 功耗限制，它每次只能开机约二十分钟，增加了天地通信难度。后续测试将评估芯片在热应力和太空辐射环境下的表现；若验证
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b12015 版本
llama.cpp 发布 b12015 版本，主要变更是删除 common 模块中的 fs path to utf8() 函数，由 Hugging Face 的 Adrien Gallouët 提交。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVI
正文结构化主题已通过公开置信门槛
NVIDIA 发布 NemoClaw 开放蓝图，构建可控栈专用智能体
NVIDIA 发布 NemoClaw 开放蓝图，帮助开发者在自有可控的技术栈上构建专用智能体。NemoClaw 本身不是 harness 或运行时，而是将调优后的开源 harness（OpenClaw、Hermes Agent、LangChain Deep Agents）、Nemotron 开源模型、NeMo 优化工具与 OpenShell 安全运行时组合成
10月30日周五 · 5 条
正文结构化主题已通过公开置信门槛
Google DeepMind 发布 Gemma 4 12B Unified 开源多模态模型
Google DeepMind 在 Hugging Face 发布 Gemma 4 12B Unified 开源模型，采用 Apache 2.0 许可，属于 Gemma 4 系列。该模型采用无编码器（encoder-free）架构，将图像块和音频波形通过轻量线性层直接投影到 LLM 嵌入空间，原生支持文本、图像、音频输入，上下文窗口达 256K，面向消费级设
正文结构化主题已通过公开置信门槛
智能体AI加入搜寻外星信号，实时AI探测脉冲星
SETI研究所与Breakthrough Listen将智能体AI引入外星文明搜寻，在艾伦望远镜阵列实现用自然语言指令操控望远镜、校正数据并实时处理信号。系统基于NVIDIA Holoscan平台，可处理每秒2.4太比特数据，并已在蟹状星云实现首次实时AI脉冲星探测。团队下一步将评估NVIDIA Nemotron等开放模型，用于数据本地化和离线观测场景。
正文结构化主题已通过公开置信门槛
llama.cpp b12008 修复 gemma 模型 token embd 重复占用
llama.cpp 发布 b12008 版本，修复了 gemma3n 与 gemma4 模型在加载时 token embd 与绑定输出共享缓冲区导致重复占用的问题，改为先创建 token embd。在 CPU-only（-ngl 0）、无 mmap 场景下，gemma-4-E2B-it Q4 K M 的 CPU 模型缓冲区从 3163.73 MiB 降至 2
正文结构化主题已通过公开置信门槛
llama.cpp b12007：KV-cache 旋转常量常驻 GPU
llama.cpp 发布 b12007 版本，核心改动是将 KV-cache 的旋转常量保留在 GPU 上，并支持按层分配旋转缓冲区，同时修复了混合 SWA 旋转输入与混合放置检查的问题。该改动在 mistral-large4 和 dflash 模型上启用按层旋转，并补充了多设备旋转的剩余工作文档。发布同时提供 macOS、Linux、Windows、And
正文结构化主题已通过公开置信门槛
DoorDash 用 AI Agent 将杂货复购延迟从 16 秒降至 2 秒
DoorDash 通过将周期性购买需求预先计算并存储，而非每次请求重新构建，把 AI 驱动的杂货复购流程延迟从约 16 秒降至 2 秒。该改动使购物清单浏览量翻倍，复购流程下单率提升约 34%。实现基于 DoorDash 共享 agent 平台与 grounded 购物界面，结合批量 LLM 推理、确定性校验和实时商品目录解析。