SGLang 发布 v0.5.23：新增多模型支持与推理性能优化
SGLang 发布 v0.5.23 版本，包含来自 257 位贡献者的 1007 个 PR。该版本新增 Muse Spark Open、MiniMax-M3.1-Flash、MiniCPM-V 4.7 等模型支持，并针对 DeepSeek-V4.1 在 GB300 上实现最高 1.5 倍 prefill 吞吐提升和约 28% 首 token 延迟降低。此外还
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3295 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
11月3日周二 · 13 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
Clover-35B-A3B-Preview 扩散模型 GGUF 量化版发布
Hugging Face 用户 maternion 将 DiffuSpace 的 Clover-35B-A3B-Preview 模型转换为 GGUF 格式并发布，提供 Q8 0 至 Q3 K S 共六种量化版本。该模型是 35B 参数、每 token 约 3B 激活参数的混合专家扩散语言模型，支持 128K 上下文，需 llama.cpp 主线 commit
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b12057：简化 context setter 并更新多平台构建
llama.cpp 发布构建版本 b12057，主要变更是简化 context 的 setter 接口（PR #29730）。该版本为 macOS/iOS、Linux、Android、Windows 及 openEuler 等多个平台提供预编译二进制包，覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO、OpenCL 等后端，并附带
正文结构化主题已通过公开置信门槛
KrynexLabs 发布 150M 端侧轻量模型 KrynexAI 1.4
KrynexLabs 在 Hugging Face 发布 KrynexAI 1.4，一个约 150M 参数、基于 Llama 架构的轻量级语言模型，支持 8192 token 上下文，权重约 270MB，面向端侧与边缘部署。模型基于 HuggingFaceTB/SmolLM2-135M 构建，采用 Apache 2.0 许可，并提供 ONNX、GGUF 等格
正文结构化主题已通过公开置信门槛
llama.cpp b12054：ggml-zdnn 与主机共享缓冲区
llama.cpp 发布 b12054 版本，主要变更是 ggml-zdnn 后端与主机共享缓冲区（由 IBM 的 Aaron Teo 提交，PR #31481）。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译包，涵盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等
正文结构化主题已通过公开置信门槛
llama.cpp b12053：Apple 平台改用 vm allocate 分配内存
llama.cpp 发布 b12053 版本，核心变更是 ggml 在所有 Apple 平台（含 iOS）上改用 vm allocate 替代 posix memalign 进行内存分配，并默认运行 test-host-buffer-release 测试。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包，
正文结构化主题已通过公开置信门槛
NVIDIA 让 Kubernetes 首日支持 Vera Rubin
NVIDIA 发布 AI Cluster Runtime（AICR），作为 DSX AI Factory 平台的一部分，通过可复用配方捕获调优配置、生成部署包并验证运行集群，帮助 Kubernetes 环境在首日支持 Vera Rubin NVL72 计算托盘。文章详述了从 GB200 NVL72 迁移到 Vera Rubin 所需的驱动、DOCA/NIC、
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b12052：OpenCL 新增 topk mask
llama.cpp 发布构建版本 b12052，主要变更是为 OpenCL 后端新增 topk mask 支持（PR #31441）。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台、多后端（CUDA、Vulkan、ROCm、SYCL、OpenVINO、OpenCL Adreno 等）的预编译二进制包。此次更新属于开源
正文结构化主题已通过公开置信门槛
两千张国产GPU在无锡跑满，自动驾驶训练算力直奔万卡
摩尔线程与无锡惠山招商集团、新石器达成战略合作，新石器计划在无锡（惠山）国产智算中心扩大自动驾驶模型训练规模，算力需求将达近万卡级。该中心一期部署2112张摩尔线程MTT S5000 GPU，已基本满载运行，算力使用率92.9%，付费算力占比59.7%，已有20多家客户测试或使用。实测显示MTT S5000在DeepSeek V4 Flash模型上SLA达标
正文结构化主题已通过公开置信门槛
在 Amazon SageMaker AI 上用知识蒸馏构建高效智能体
AWS Machine Learning Blog 发布教程，介绍如何在 Amazon SageMaker AI 上使用序列级知识蒸馏（SeqKD）构建高效智能体。文章以购物助手为例，说明用前沿教师模型生成多步工具调用轨迹，筛选出成功轨迹后对小型学生模型做监督微调，从而在保持质量的同时降低推理成本。内容涵盖 SeqKD 的适用场景、前置条件以及数据生成、编码
正文结构化主题已通过公开置信门槛
Google 与 Meta 开源 TorchTPU，为 TPU 带来原生 PyTorch 支持
Google 与 Meta 联合开源 TorchTPU，为 Google TPU 提供原生 PyTorch 后端，使现有 PyTorch 工作负载只需少量代码修改即可在 TPU 上运行，并支持 eager 与编译执行、分布式计算及硬件优化。该项目旨在替代此前基于 PyTorch/XLA 的方案，解决其需侵入式改代码、编译延迟高、缺乏原生 eager 模式等问
正文结构化主题已通过公开置信门槛
llama.cpp b12048：Intel Arc SYCL 通信优化提速 19%
llama.cpp 发布 b12048 版本，主要针对 Intel Arc Pro B70 显卡优化 SYCL 后端的 ggml sycl comm exchange() 通信交换函数。改动将 -sm 张量提示词评估速度提升 19% 且困惑度（PPL）不变，并用 ext oneapi submit barrier() 替换 wait() 调用以修复 MTP
正文结构化主题已通过公开置信门槛
NVIDIA Workload Map 加速新 AI 框架支持
NVIDIA 发布 Workload Map（原 Karta），作为 DSX AI Factory 平台的一部分，以 Kubernetes CRD 加 Go 库的形式提供分布式工作负载的统一结构描述。它内置 JobSet、PyTorchJob、RayCluster、KServe、NVIDIA NIM、Dynamo 等框架的预置定义，使调度器与平台无需为每种框
11月2日周一 · 7 条
正文结构化主题已通过公开置信门槛
Mistral 发布 1T 参数多模态 MoE 模型 Mistral Large 4
Mistral AI 发布 Mistral Large 4（代号 Le Chonk），这是一个总参数约 1 万亿、每 token 激活约 520 亿参数的原生多模态 MoE 模型，在 Mistral 位于欧洲的自有数据中心用 3800 块 NVIDIA Grace Blackwell GPU 从零训练。模型支持 100 万 token 上下文、160 多种语
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b12047：SYCL dmmv 代码清理
llama.cpp 发布 b12047 版本，主要变更是 SYCL 后端 dmmv 代码清理：将 q8 0 reorder dmmv 合并进通用模板，并对非 K 量化与 K-quant 的 dmmv 启动器进行模板化。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台多后端（CUDA、Vulkan、ROCm、SYCL、O
正文结构化主题已通过公开置信门槛
Unsloth 发布 DeepSeek-V4.1-Flash-1017 GGUF 量化版
Unsloth 在 Hugging Face 发布了 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本，基于 DeepSeek 官方的 DeepSeek-V4.1-Flash-1017 模型。该模型是 DeepSeek-V4.1-Flash 的小幅更新，在推理、编程、智能体任务和视觉基准上均有提升，同时缩短任务执行时间和输出长度，降低
正文结构化主题已通过公开置信门槛
Arki05 发布 Qwen3.8-27B 全类型 GGUF 分片仓库
用户 Arki05 在 Hugging Face 发布了 Qwen3.8-27B 的 GGUF 分片仓库，提供 18 种 llama.cpp 量化类型下每个 block tensor 的独立文件，并附带 manifest、skeleton 与 sha256 记录，供 qalloc 按张量粒度组装 GGUF。该仓库基于 Unsloth 的 BF16 GGUF
正文结构化主题已通过公开置信门槛
别再数 token，开始数交付成果
MIT Technology Review AI 刊发 HPE 赞助内容，指出 AI 编程代理单任务消耗 token 可达普通对话的 10 至 50 倍，按 token 计费使高价值工作流成本高企，Uber 据称 4 月已耗尽 2026 年 AI 预算，GitHub Copilot 转向按量计费。文章主张改用「每个已合并 PR 的成本」衡量投入产出，并通过网
正文结构化主题已通过公开置信门槛
Edge0 发布 Audio8-TTS-Realistic-Air：0.6B 多语言语音克隆模型
Edge0 在 Hugging Face 发布 Audio8-TTS-Realistic-Air，基于 Audio8-TTS-Preview-0.6b 改进语音真实感，保持 0.6B 主模型规模与零样本声音克隆能力。该版本支持语言从 11 种扩展到 23 种，新增 12 种语言，并沿用相同的 Transformers 推理接口。仓库包含完整模型权重、44.1
正文结构化主题已通过公开置信门槛
vLLM v0.33.0 发布：新增多模型支持与解码加速
vLLM 发布 v0.33.0，包含来自 389 位贡献者的 927 个提交。该版本新增 Reflection Beam-1.0、Yandex AliceAI-Foundation-80B-A3B、Step-5 Preview 等多个模型支持，升级至 PyTorch 2.14 并放弃 CUDA 12.9，同时引入 XPress、FLy 等投机解码优化及 GB