llama.cpp b12237：mtmd 支持 Gemma 4 音频输入流
llama.cpp 发布 b12237 版本，其 mtmd（多模态）模块新增对 Gemma 4 输入音频流的支持，采用 480ms 步长处理音频。同时修复了 server 端实时嵌入逻辑：此前实时槽位强制开启 embeddings，导致带音频流的聊天模型（如 Gemma 4）在首批音频行上中止，现在仅对生成音频的模型保留 n batch 输出。该版本同步提供
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3290 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
11月10日周二 · 17 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
LiteLLM 发布 1.108.4 LTS 修复多项路由与 SDK 问题
LiteLLM 发布 1.108.4 LTS 版本，共包含 10 个 PR，其中 7 项修复、1 项变更，官方称升级无需额外操作。修复覆盖 AWS Bedrock 上 GLM、GPT-6 Luna、Nova 2 的 400 错误及 guardrailConfig 强制执行、Vertex AI Claude 批量任务 404、/v1/messages 加密推理
正文结构化主题已通过公开置信门槛
llama.cpp b12236 发布：mtmd 新增重采样辅助函数
llama.cpp 发布 b12236 版本，核心变更为 mtmd 模块新增 mtmd helper resampler 辅助函数，并同步更新文档、补充测试，同时引入 MA MAX FILTER ORDER 常量。该版本照例提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多后端预编译二进制包，涉及 CUDA
正文结构化主题已通过公开置信门槛
Amazon Bedrock 托管知识库支持单次与代理式检索
AWS 宣布 Amazon Bedrock Managed Knowledge Base 通过 AgenticRetrieveStream 接口支持单次 RAG 和仅检索请求，并将 maxAgentIteration 范围扩展至 0-5。开发者可用同一 API 按请求选择仅检索、单次 RAG 或代理式多轮检索三种模式，从而在简单查询上降低延迟和模型调用成本，
正文结构化主题已通过公开置信门槛
NVIDIA Nemotron 3.5 Super VL 上线 Amazon SageMaker JumpStart
AWS 宣布 NVIDIA Nemotron 3.5 Super VL 视觉语言模型已在 Amazon SageMaker JumpStart 上线，用户可通过 SageMaker Studio 或 Python SDK 快速部署。该模型采用 120B 参数混合 MoE 架构（12B 激活参数）与 C-RADIO 视觉编码器，支持图像、视频、文本输入，上下文
正文结构化主题已通过公开置信门槛
Qwen3-4B LiteRT-LM 端侧模型更新动态 INT4 导出
Hugging Face 上的 litert-community 仓库发布了 Qwen3-4B 的 LiteRT-LM 端侧变体，其中 qwen3 4b mixed int4.litertlm 于 2026-10-31 更新为采用动态 INT4（block-32）权重与 GPU 复合算子的 LiteRT Torch 导出文件。新文件在 Galaxy S26
正文结构化主题已通过公开置信门槛
Meta 发布小型模型 Muse Ember，专为智能体重复性工作设计
Meta 发布其迄今最小、最高效的 AI 模型 Muse Ember，面向 AI 智能体日常重复性任务，如调用工具、小型编码、请求路由、数据抽取和长文档处理。Meta 称其在各推理级别上每美元智能高于 Claude Haiku 5.5 和 GPT-6 Luna，Artificial Analysis 测试中每任务成本约 0.14 美元。该模型支持文本、图像、
正文结构化主题已通过公开置信门槛
llama.cpp b12233：支持外部 PLE 文件加载
llama.cpp 发布 b12233 版本，新增外部 PLE 文件加载功能：模型加载器可将 --ple 作为 --shard 的别名，支持逗号分隔的多个分片路径并复用多分片加载路径，同时移除原有的 ple path、path ple 等独立接口。该改动让 PLE 分片可覆盖张量，并让 --fit 与路由内存测量加载全部分片，同时提供各平台预编译二进制。
正文结构化主题已通过公开置信门槛
苹果推出 50 美元 Intelligence 用量包，扩展部分 AI 功能访问
苹果在 Logic Pro 中新增“购买更多用量”选项，用户可一次性支付 49.99 美元购买 Intelligence Usage Packs，以继续使用有额度限制的 Apple Intelligence 功能。这些功能依赖 OpenAI 或 Google Gemini 的云端模型，用量包仅限购买账户使用，不支持家庭共享，未用完的额度可逐月结转，但购买 1
正文结构化主题已通过公开置信门槛
RedHatAI 发布 Qwen3.8-27B INT4 量化模型
RedHatAI 发布了 Qwen3.8-27B 的 INT4 量化版本，权重由 16 位压缩至 4 位，磁盘与 GPU 显存需求降低约 75%，激活值保持原精度并采用 FP8 KV cache。该模型使用 LLM Compressor 结合 AWQ 平滑与 W4A16 GPTQ 方案生成，可直接通过 vLLM 部署，并支持推测解码。在 IFEval 等基准
正文结构化主题已通过公开置信门槛
Ollama 发布 v0.40.16：OpenAI 接口与 MLX 优化
Ollama 发布 v0.40.16 版本，包含多项更新：OpenAI 兼容接口支持在响应请求中转发截断选项，未安装模型时 /v1/models 返回空数组；llama.cpp 升级至 b12177；Windows 平台新增 CUDA 13.5 与 ARM64 的 SM 103 支持；MLX 优化 Qwen3.8 Flash Next 的内存效率并新增 ri
正文结构化主题已通过公开置信门槛
RedHatAI 发布 Muse-Glimmer-30B FP8 量化版
RedHatAI 发布了 Muse-Glimmer-30B-FP8-block，这是对 Meta 的 meta-models/Muse-Glimmer-30B 多模态模型进行 FP8（W8A8 block）量化后的版本。该模型使用 LLM Compressor 以无需校准数据的 post-training 量化方式生成，并以 compressed-tenso
正文结构化主题已通过公开置信门槛
Meta 发布轻量模型 Muse Ember，主打智能体执行
Meta Superintelligence Lab 发布轻量级模型 Muse Ember，主打低成本、高并发的智能体执行场景，每百万输入 token 定价 10 美分，并称其性价比优于 Anthropic Haiku、OpenAI Luna 及开源竞品 DeepSeek V4.1 Flash、GLM 5.3 Flash。该模型支持文本、图像、音频多模态输入
正文结构化主题已通过公开置信门槛
谷歌发布TPU 8i Max与8tx，HBM带宽翻倍
谷歌发布第八代TPU的两款新品TPU 8i Max和TPU 8tx，前者主打超大上下文窗口与单机柜最高算力密度，算力、SRAM和HBM带宽均为TPU 8i的两倍；后者面向安全与机密推理，延迟最高降低一半。这是谷歌首次一年内推出4款TPU，覆盖智能体全生命周期。谷歌同时升级开源软件栈，向PyTorch开发者开放TPU，并开源TPU智能体工具套件、XLA Ser
正文结构化主题已通过公开置信门槛
kindlingai 发布 DeepSeek-V4.1-Flash 的 exlr8 多精度量化权重
Hugging Face 用户 kindlingai 发布了 deepseek-v4.1-flash-exlr8，这是对 DeepSeek-V4.1-Flash-1017 官方权重的重新打包版本，采用 exlr8 v2 文件布局，并为第 0-7 层及第 38-39 层的专家权重额外提供 4-bit、3-bit、2-bit 的 trellis 量化编码。仓库通
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b12230：ggml-zdnn 后端兼容性修复
llama.cpp 发布构建版本 b12230，主要变更是 ggml-zdnn 后端现在接受非 zdnn 张量，并在每次算子执行后使计算张量失效（由 IBM 的 Aaron Teo 提交，PR #31824）。该版本同时提供覆盖 macOS/iOS、Linux（含 s390x zDNN、CUDA、ROCm、Vulkan、SYCL、OpenVINO）、Andr
正文结构化主题已通过公开置信门槛
llama.cpp b12229 修复 response format 顶层 json schema 被忽略问题
llama.cpp 发布 b12229 版本，修复了 server 端 OpenAI 兼容 chat completions 接口对 response format 中 json schema 的处理问题。此前当 schema 直接以 response format.schema 顶层形式提供（README 中有文档、部分客户端也这样用）时会被静默忽略，导致
11月9日周一 · 3 条
正文结构化主题已通过公开置信门槛
DeepBeepMeep 发布 MiniMax-H3 模型及 WanGP 更新
DeepBeepMeep 在 Hugging Face 发布 MiniMax-H3 图像模型集合，供开源视频生成工具 WanGP 使用。WanGP 支持 Wan、Hunyuan Video、Flux 1/2、Qwen、Z-Image、LTX-2 等模型，最低 6GB 显存即可运行，并兼容旧款 GPU。此次更新新增 TaoMate H3 FL2VA 3-Ste
正文结构化主题已通过公开置信门槛
Qwen3.5-2B 网络安全微调模型发布 GGUF 量化版
开发者 reaperdoesntknow 在 Hugging Face 发布了 Qwen3.5-2B-CyberSec 的 GGUF 量化版本，基于 unsloth/Qwen3.5-2B 微调，并使用 Trendyol 网络安全指令微调数据集。该版本提供 BF16、Q8 0、Q4 K M 三种量化文件，支持 llama.cpp 和 Ollama 本地推理，面
正文结构化主题已通过公开置信门槛
Qwen3.5-0.8B Cyber GGUF 量化模型发布
用户 reaperdoesntknow 在 Hugging Face 发布了基于 Qwen/Qwen3.5-0.8B 的 GGUF 量化模型仓库 Qwen3.5-0.8-Cyber-GGUF，提供从 BF16 到 Q2 K L 的多档量化版本，并附有 llama.cpp 与 Ollama 的本地运行命令。该仓库未公开微调数据集、训练配方和评测结果，作者明确说