谷歌发布 HEIR 编译器，推动同态加密推理一键化
谷歌推出开源编译器工具链 HEIR，旨在简化同态加密（HE）的部署，使预训练 AI 模型能够直接处理加密数据。HEIR 已用于隐私内容推荐、信用卡欺诈检测、网络入侵识别和音频热词识别等场景。目前编译过程尚未完全自动化，且性能开销仍是一个挑战，但部分评论认为对于某些应用场景是可接受的。
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3339 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
8月24日周一 · 3 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
UmeAiRT 发布 ComfyUI 自动安装器资源库
UmeAiRT 在 Hugging Face 上发布了 ComfyUI-Auto-Installer-Assets 资源库，这是一个纯资产存储库，通过 Git LFS 提供多种扩散模型（如 FLUX、WAN、QWEN、HiDream、LTX-2 等）的预打包模型文件、文本编码器、二进制文件和 Python 包，支持多种精度（如 fp16、fp8、GGUF 量
正文结构化主题已通过公开置信门槛
llama.cpp b10598 发布：改进图像缩放算法并优化速度
llama.cpp 发布 b10598 版本，主要更新为 mtmd 模块使用更精确的 Pillow 图像缩放算法，并修正了所有模型的 resize algo 参数，同时进行了速度优化。该版本提供了适用于 macOS、Linux、Windows、Android 和 iOS 的多种预编译二进制文件，支持 CPU、Vulkan、CUDA、ROCm、OpenVINO
8月23日周日 · 15 条
正文结构化主题已通过公开置信门槛
llama.cpp b10594 发布：修复 CUDA 显存浪费问题
llama.cpp 发布 b10594 版本，主要修复了设备信息循环在非 TRACE 日志级别下仍会创建 GPU 上下文并导致 CUDA 后端分配 550 MB 显存的问题。该修复通过检查日志详细级别，在无输出时跳过设备循环，避免不必要的 GPU 资源占用。
正文结构化主题已通过公开置信门槛
llama.cpp b10593 发布：修复 DeepseekV4 多序列回滚问题
llama.cpp 发布 b10593 版本，主要修复了 DeepseekV4 在多序列场景下的回滚问题，并进行了模型加载修复、缓存清理优化和图拓扑静态化等改进。该版本提供了覆盖 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，支持 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等多种后端。
正文结构化主题已通过公开置信门槛
AI 成为自身最大客户：OpenRouter 代理 token 使用量激增 14 倍
OpenRouter 分析师 Peter Walker 指出，2026 年 2 月 6 日可能是人类消耗 token 量最后一次超过 AI 代理的日子。此后，代理 token 使用量增长了 14 倍，而人类使用量仅增长 2.8 倍。尽管代理消耗的 token 中近 70% 来自缓存提示，实际成本增速低于原始数据，但 AI 已成为 AI 最大的客户。OpenR
正文结构化主题已通过公开置信门槛
Ornith-1.5-9B MTP GGUF 发布：内置推测解码头，多档量化优化
protoLabsAI 发布了 Ornith-1.5-9B 模型的 GGUF 量化版本，内置蒸馏 MTP 草稿头，支持 llama.cpp 的无损多 token 自推测解码，无需单独草稿模型。该版本针对不同硬件提供多种量化档位，其中 NVFP4 在 Blackwell 上速度最快（299 tok/s），IQ4 XS 适合 6GB 显存，但 IQ2 M 在长文
正文结构化主题已通过公开置信门槛
llama.cpp b10590 发布：更新 subprocess.h 并支持多平台
llama.cpp 发布了 b10590 版本，主要更新是更新了 subprocess.h 依赖。该版本提供了适用于 macOS、Linux、Windows、Android 和 iOS 的多种预编译二进制文件，支持 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等后端。
正文结构化主题已通过公开置信门槛
llama.cpp b10589 发布：新增 CUDA POOL 1D 支持
llama.cpp 发布 b10589 版本，主要新增 CUDA 后端对 POOL 1D 操作的支持，并修复了 editorconfig 兼容性问题。该版本提供了适用于 macOS、Linux、Windows、Android 等多平台的预编译二进制文件，涵盖 CPU、CUDA、Vulkan、ROCm、OpenVINO、SYCL 等后端。
正文结构化主题已通过公开置信门槛
Ray 2.58.0 发布：KV 缓存路由、Delta Lake 集成与 TPU 支持
Ray 2.58.0 发布，重点包括 Ray Serve LLM 完成 KV 缓存和 token 感知路由，Ray Core 支持任务事件卸载，Ray Data 新增 Databricks Delta Lake 集成和 shuffle v2 后端，并推出实验性 Ray Sandbox 和 TPU 支持。这些改进提升了推理性能、数据处理效率和资源调度能力。
正文结构化主题已通过公开置信门槛
KernelBench-RLVR-120b 模型发布 GGUF 量化版本
mradermacher 发布了 KernelBench-RLVR-120b 模型的 GGUF 量化版本，该模型基于 Jarrodbarnes 的 KernelBench-RLVR-120b，专注于 GPU 内核代码生成，并通过 GRPO 强化学习在 KernelBench 数据集上训练。量化版本提供了多种精度的 GGUF 文件，方便用户在本地部署。
正文结构化主题已通过公开置信门槛
DavidAU 发布 Qwen3.6 40B 无审查 GGUF 模型
DavidAU 发布了 Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking-NEO-CODE-Di-IMatrix-MAX-GGUF 模型，这是一个基于 Qwen3.6 扩展的 40B 参数稠密模型，通过多阶段训练（包括 Heretic 去审查、Deckard 数据集和 Claude
正文结构化主题已通过公开置信门槛
LiteLLM v1.98.0 发布：镜像签名验证与多项功能更新
LiteLLM 发布 v1.98.0 版本，所有 Docker 镜像均使用 cosign 签名，并提供了基于提交哈希和发布标签的验证方法。该版本包含多项修复和新功能，如支持 Claude Sonnet 5 的 toolSpec.strict 移除、GLM 5 和 DeepSeek V3.2 的原生结构化输出、PTU 平摊成本配置、可配置的估计输出 token
正文结构化主题已通过公开置信门槛
LiteLLM v1.99.0-rc.1 发布：镜像签名验证与多项修复
LiteLLM 发布 v1.99.0-rc.1 版本，所有 Docker 镜像均使用 cosign 签名，并提供了通过提交哈希或发布标签验证签名的方法。该版本包含多项修复和功能更新，涉及 SCIM 组匹配、流式消息成本计算、Bedrock 响应头转发、spend 日志哈希、预算跟踪、路由响应体增强、guardrails 策略执行、Redis 集群超时处理等。
正文结构化主题已通过公开置信门槛
llama.cpp b10588 发布：修复 json.h 编译问题
llama.cpp 发布 b10588 版本，主要修复了 json.h 在 clang LTO 下的编译问题。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，并支持多种硬件加速后端。
正文结构化主题已通过公开置信门槛
llama.cpp b10587 为 Vulkan 后端新增 PAD REFLECT 1D 操作
llama.cpp 发布 b10587 版本，为 Vulkan 后端新增了 PAD REFLECT 1D 操作，通过 GLSL 计算着色器实现反射逻辑，并注册了 SPIR-V 编译、更新了相关代码。该操作在 Intel Iris Xe 上通过了正确性和性能测试，性能数据已公布。同时发布了适用于多个平台和硬件加速器的二进制文件。
正文结构化主题已通过公开置信门槛
Mistral-Nemo-Instruct-heretic：去审查版12B模型发布
Hugging Face 上发布了 Mistral-Nemo-Instruct-heretic，这是 Mistral-Nemo-Instruct-2407 的去审查变体，通过 Heretic 工具进行方向消融（abliteration）而非微调，抑制了模型的拒绝行为，同时保留了基础模型的能力。该模型提供多种 GGUF 量化版本，可在消费级 GPU 上运行，但
正文结构化主题已通过公开置信门槛
2026全球AI芯片峰会嘉宾阵容公布，聚焦KV Cache与AI芯片前沿
2026全球AI芯片峰会（GACS 2026）将于9月20-21日在上海举行，由智东西发起，智猩猩主办，芯东西协办。峰会以“芯路求索 聚力致远”为主题，将举办开幕式、高峰论坛及多场技术研讨会，包括大模型KV Cache、超节点、异构混训混推等。目前已公布31位演讲嘉宾，涵盖华为、腾讯混元、上海AI实验室等机构专家，聚焦AI芯片加速大模型、Agent与具身智能
8月22日周六 · 2 条
正文结构化主题已通过公开置信门槛
llama.cpp b10585 发布：新增 JSON 抽象层并修复崩溃
llama.cpp 发布 b10585 版本，主要新增 common/json.h 抽象层，并迁移了 common、jinja、server 及测试代码，修复了服务器崩溃问题。该版本为各平台提供了预编译二进制包，包括 macOS、Linux、Windows、Android 和 iOS。
正文结构化主题已通过公开置信门槛
llama.cpp b10584 发布：修复 draft 上下文并优化内存适配
llama.cpp 发布 b10584 版本，主要修复了 draft 模型上下文大小与目标上下文不匹配的问题，并优化了内存适配逻辑。该版本还引入了可选的第二模型支持，使 draft 或 MTP 上下文的内存测量更精确，同时移除了服务器中的预留块。