AWS SageMaker HyperPod 推出模型缓存，大幅减少推理冷启动
AWS 为 Amazon SageMaker HyperPod 上的推理推出模型缓存功能，通过预加载模型权重和容器镜像到集群节点的本地 NVMe 存储，将推理 Pod 的冷启动时间从数十分钟缩短到数秒。该功能针对 DeepSeek-R1 等 600GB 以上大模型，解决自动扩缩容时因重复下载镜像和权重导致的响应延迟问题。缓存采用优先调度而非强制调度，未命中缓
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3319 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
9月11日周五 · 10 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
OpenAI 因 Astra 需求激增暂停 Pro 订阅注册
OpenAI 因最新最强模型 Astra 需求激增，暂时停止其每月 200 美元的 Pro 订阅新用户注册，以缓解基础设施压力。产品负责人 Thibault Sottiaux 在 X 上宣布了这一决定，称 Pro 计划对系统压力最大，但 API 及低价的 Go、Plus 计划仍可订阅。Astra 于 9 月 3 日发布，被宣传为迈向“AGI 时代”的世代级跃
正文结构化主题已通过公开置信门槛
llama.cpp b10900：Vulkan 启用 topk moe 融合
llama.cpp 发布 b10900 版本，主要变更是 Vulkan 后端使用 add alloc dep 以在 prefill 阶段启用 topk moe 融合（PR #28422）。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包，覆盖 CPU、Vulkan、ROCm、OpenVINO、SYCL、C
正文结构化主题已通过公开置信门槛
llama.cpp b10899：Vulkan 小 M 矩阵优化（面向 Qwen）
llama.cpp 发布 b10899 版本，主要针对 Vulkan 后端进行小 M 矩阵运算优化，面向 Qwen 模型。改动包括通过交换 A/B 优化 m=1 的 mul mat、允许小 M 场景使用 split k，并让 coopmat2 的小/中 tile 选择依赖 M 而非仅依赖 N。该版本同时提供 macOS、Linux、Windows、Andro
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b10897：WoA CUDA 13.4 升级至 13.4.1 GA
llama.cpp 发布 b10897 版本，主要更新是将 Windows ARM64 平台的 CUDA 13.4 构建从 Developer Preview 归档迁移到 13.4.1 GA 可再发行组件。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包，涵盖 CUDA、Vulkan、ROCm、OpenV
正文结构化主题已通过公开置信门槛
OpenAI 开放 GPT-Live-1 全双工语音 API
OpenAI 将 GPT-Live-1 语音模型以 API 形式开放给开发者，该模型支持全双工（同时听说），已在 ChatGPT 内部运行。开发者可将其与不同后端模型搭配，按任务匹配推理深度、速度与成本，定价为每分钟 0.05 美元。Yelp 已用其处理电话预订并报告通话处理改善。OpenAI 基准显示该模型在全双工交互、轮次延迟、工具调用准确率等指标上明显
正文结构化主题已通过公开置信门槛
蚂蚁灵波开源三款世界模型，最小1.3B消费级显卡可跑
蚂蚁灵波开源三款世界模型：LingBot-World 2.0 Small（1.3B）、Bidirectional（双向Teacher模型）和Causal Pretrain（因果预训练基座模型）。其中1.3B版本面向消费级单卡GPU，可实时生成，便于个人开发者和高校实验室本地复现；双向Teacher模型提供高质量蒸馏源，因果预训练模型面向后训练、评测与场景适配
正文结构化主题已通过公开置信门槛
高通剧透下一代骁龙旗舰芯：CPU、GPU、NPU全面进化
高通提前剧透了将在2026骁龙峰会上发布的新一代骁龙旗舰移动平台的核心技术升级，涵盖CPU、GPU、NPU三大模块面向智能体AI的全面进化。NPU方面推出新的Hexagon NPU、Element Accelerator和更大共享内存，并联合内存与模型厂商引入MoE架构；CPU方面Oryon成为业内首个最高主频达5GHz的移动CPU，并引入动态缓存架构Fle
正文结构化主题已通过公开置信门槛
NVIDIA NIM 全栈优化让 Nemotron 3 Ultra 并发用户提升 2.5 倍
NVIDIA 技术博客介绍其 NIM 2.0.12 全栈优化如何在 Nemotron 3 Ultra 上实现 2.5 倍并发用户提升。在 4xB200 硬件、64K 上下文、76% KV 复用、50 TPS/用户（20ms ITL）的 agentic 负载基准下，优化后吞吐从 718 tok/s 提升至 1,997 tok/s。优化来自精度与自动调优内核、张
正文结构化主题已通过公开置信门槛
基于 LLM 的模型无关 PII 检测
AWS Machine Learning Blog 介绍了一种基于 LLM 的模型无关 PII 检测器，通过指令驱动检测逻辑，可在 Amazon Bedrock 或自托管模型上运行。该方案将实体类型和输出格式变为可配置项，无需重新训练即可扩展检测范围，并在五个公开 PII 语料库上与包括 OpenAI PrivacyFilter 在内的九种 LLM 检测器进
9月10日周四 · 10 条
正文结构化主题已通过公开置信门槛
Nail-Qwen3.6-35B-A3B-GGUF-MTP 量化模型发布
Hugging Face 用户 peculiar-ragdoll 发布了 Nail-Qwen3.6-35B-A3B-GGUF-MTP，这是基于 Qwen3.6-35B-A3B 的 4-bit GGUF 量化模型，保留了标准量化中被丢弃的多 token 预测（MTP/nextn）张量，并内置改进的聊天模板与强制系统提示。该模型面向推理、多轮对话和 agenti
正文结构化主题已通过公开置信门槛
llama.cpp b10896：修复 DFlash 视觉模型 mtmd chunk 解码失败
llama.cpp 发布 b10896 版本，修复了在使用 DFlash 推测解码与视觉模型（mtmd）配合时无法解码图像 chunk 的问题。修复方式是停止将图像 token 复制给 drafter，并将 M-RoPE 跳过逻辑限制为仅图像，允许音频正常通过。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制。
正文结构化主题已通过公开置信门槛
sanoTTS：可在3美元微控制器上运行的微型TTS
Ampixa 在 Hugging Face 发布 sanoTTS，一个参数规模 294k 至 2.27M 的微型神经语音合成模型家族，可在约 3 美元的 ESP32-S3 微控制器上实时运行，也可通过 WASM 在浏览器中运行。该系列覆盖 6 种语言共 11 个音色，采用 GPL-3.0 开源许可，并提供 Python 与 JavaScript 包。其意义在
正文结构化主题已通过公开置信门槛
NVIDIA BioIR 加速蛋白质组规模结构预测
NVIDIA 发布 BioNeMo Inference Runtime（BioIR），在 NVIDIA GPU 上加速生物分子结构预测模型，同时保留 PyTorch 工作流，并支持通过 Ray 在单节点多 GPU 上运行完整模型副本以提升吞吐。该运行时已用于 AlphaFold Database 的扩展，在 4,777 个蛋白质组中加速生成约 3,100 万
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b10894：清理旧模型死代码并更新多平台构建
llama.cpp 发布 b10894 版本，主要改动是清理旧模型代码中已失效的 switch 分支（#28669），移除早期重构时复制粘贴、现已不可能触发的条件判断，仅保留 llama model bert::graph::graph 的共享逻辑。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制包，覆盖
正文结构化主题已通过公开置信门槛
GLM-5.3-Flash 发布 EXL3/TR3 4bpw 量化检查点
开发者 brandonmusic 在 Hugging Face 发布了 GLM-5.3-Flash 的 EXL3/TR3 4bpw 量化检查点，基于 zai-org/GLM-5.3-Flash-BF16，面向 SM120 双 GPU 环境。该版本提供多模态 DFlash2、纯文本 DFlash2 和纯文本 MTP3 三种 vLLM 服务配置，并附带可复现的
正文结构化主题已通过公开置信门槛
Deepseek 发布 V4.1-Flash，大幅降低 AI 智能体内存需求
Deepseek 发布新模型 V4.1-Flash，通过大幅压缩 KV 缓存降低长文本处理成本：快速 GPU 内存中的缓存仅需前代 V4-Flash 约四分之一，永久卸载部分降至约八分之一，相比 V1 每 token 全局 KV 缓存缩小 437 倍。模型采用输入/输出计算拆分，读取输入时每 token 仅激活 80 亿参数、生成时激活 160 亿，并将主
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b10893：提高 Add fusion 测试容差
llama.cpp 发布 b10893 版本，主要变更是提高 Add fusion 测试的容差（#28691）。该版本同时提供 macOS、iOS、Linux、Android、Windows 及 openEuler 等多平台预编译二进制包，覆盖 CPU、Vulkan、ROCm、OpenVINO、SYCL、CUDA 等多种后端。
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b10892：移除测试中 SYCL 特殊处理
llama.cpp 发布 b10892 版本，主要变更是从 test-backend-ops.cpp 中移除 SYCL 的特殊处理逻辑（PR #28688）。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，支持 CPU、Vulkan、ROCm、OpenVINO、SYCL、CU
正文结构化主题已通过公开置信门槛
llama.cpp b10891：PowerVR Vulkan 反量化回退共享内存归约
llama.cpp 发布 b10891 版本，针对 PowerVR GPU 的 Vulkan 后端修复了一个严重问题：Imagination 专有 Vulkan 编译器对使用仅子组归约（要求子组大小 =16）的反量化 mul mat vec 着色器返回 VK ERROR UNKNOWN，导致 k-quants、i-quants、TQ2 0、MXFP4、NVF