llama.cpp b10752 发布：新增 Metal xcframework 支持
llama.cpp 发布 b10752 版本，主要更新是为 Metal 后端添加了 xcframework 的 metallib 构建支持，方便 iOS 和 macOS 集成。该版本提供了覆盖多平台（macOS、Linux、Windows、Android 等）的预编译二进制文件，并支持多种后端（如 Vulkan、CUDA、ROCm、OpenVINO、SYCL
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3326 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
9月2日周三 · 18 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
Ollama v0.33.3 发布：支持 GGUF 默认参数并更新依赖
Ollama 发布了 v0.33.3 版本，主要更新包括遵循 GGUF 模型定义的默认参数，并更新了 MLX、MLX-C 和 llama.cpp 组件。新贡献者 marcelpetrick 首次参与项目。
正文结构化主题已通过公开置信门槛
LiteLLM v1.101.0-dev.1 发布：镜像签名验证及多项功能更新
LiteLLM 发布 v1.101.0-dev.1 版本，该版本所有 Docker 镜像均使用 cosign 签名，并提供了通过提交哈希或发布标签进行验证的方法。更新内容涵盖代理性能改进、类型清理、Bedrock 和 Vertex AI 修复、OpenAI 工作负载身份联合支持、新增 /v1/responses/input tokens 端点、GigaCha
正文结构化主题已通过公开置信门槛
谷歌2026年8月AI新闻汇总：Gemini 3.7 Flash、Pixel 11等发布
谷歌在2026年8月发布了一系列AI更新，包括推出Gemini 3.7 Flash模型、Pixel 11系列手机、Gemini 3.5 Transcribe语音转文字模型、Gemini Omni 1.1 Flash视频生成模型，以及Gemini应用月活用户突破10亿。这些发布旨在提升AI的实用性、降低成本，并扩展在编码、教育、视频生成和气候预测等领域的应用。
正文结构化主题已通过公开置信门槛
UNSEEN Gemma-4-26B NSFW 量化版发布
Jommarn 发布了基于 Google Gemma-4-26B-A4B-it 模型进行无审查化（abliteration）微调的 UNSEEN Gemma-4-26B NSFW 模型，并提供 2-bit 至 16-bit 的量化版本及 GGUF 格式，支持消费级 GPU 和 Apple Silicon 部署。该模型具备视觉能力，需配合视觉投影器使用，官方展
正文结构化主题已通过公开置信门槛
llama.cpp b10751 发布：CUDA 融合 MoE 加权归约优化
llama.cpp 发布 b10751 版本，主要更新是在 CUDA 后端中融合了 MoE 加权专家归约操作，将多个内核合并为一个，以减少全局内存流量并提升性能。该融合支持未缩放和缩放两种图模式，并可通过环境变量禁用。同时发布了适用于多个平台和硬件的二进制文件。
正文结构化主题已通过公开置信门槛
Anthropic发布Fable与Mythos 5.1：成本降低、限制减少
Anthropic于周二发布了其最先进AI模型的双版本Fable和Mythos 5.1，在性能升级的同时降低了token成本并减少了安全防护的误报限制。Mythos 5.1仅面向注册的网络安全或生命科学研究合作伙伴，而Fable 5.1即日起可通过云平台或Anthropic API使用。Anthropic还宣布了Zero Data Retention支持，允
正文结构化主题已通过公开置信门槛
llama.cpp b10750 发布：KV 缓存查找优化提升生成速度
llama.cpp 发布 b10750 版本，优化了 KV 缓存中 n-gram 历史的查找方式，通过序列位置索引直接查询，替代了原先每次重建哈希表的方法。该优化在 Qwen3.8-Flash-Next 模型上测得文本生成速度提升 4.9%，预填充速度不变，输出结果保持一致。
正文结构化主题已通过公开置信门槛
AWS 推出 Claude Fable 5.1，强化推理与自主操作能力
AWS 宣布在 Amazon Bedrock 和 Claude Platform on AWS 上推出 Claude Fable 5.1，该模型在推理、智能体编码和自主操作方面有显著提升。Anthropic 将其指定为 Covered Model，并推出 Enterprise Frontier Safeguards，允许符合条件的客户在零数据保留模式下使用。
正文结构化主题已通过公开置信门槛
llama.cpp b10749 发布：自动调整 YARN 缩放上下文
llama.cpp 发布 b10749 版本，主要更新为在指定 YARN 缩放时自动调整 n ctx train 上下文大小。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，并支持多种硬件加速后端。
正文结构化主题已通过公开置信门槛
Qwen3.6-27B 架构感知混合精度量化发布，支持多 token 预测
Hugging Face 上发布了 Qwen3.6-27B 的架构感知混合精度量化版本，由 zerodigest 使用 YMQ-Compiler v2.0 框架从原始 BF16 权重转换而来。该版本支持多 token 预测（MTP）和长上下文优化，提供从 XXS 到 XL 多个预设档位，其中 M 档在 WikiText-2 上困惑度最低（7.5295），被推
正文结构化主题已通过公开置信门槛
llama.cpp b10743 发布：M2 Pro Metal 调优及多平台更新
llama.cpp 发布 b10743 版本，主要更新为 Metal 后端针对 M2 Pro 芯片的 FA-VEC 调优，并适配新的数据类型。该版本提供了涵盖 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，以及 UI 组件。
正文结构化主题已通过公开置信门槛
ZeroDigest 发布 Qwen3.8-27B 架构感知量化系列
ZeroDigest 实验室发布了基于 Qwen3.8-27B Cold-Fusion GAIN V1.1 的架构感知量化模型系列，采用自定义 YMQ-Compiler 框架进行混合精度量化，支持多 token 预测（MTP）和长上下文优化。该系列提供多个预设档位，覆盖 9.1GB 至 14.5GB 的模型大小，并报告了 WikiText-2 困惑度指标，旨
正文结构化主题已通过公开置信门槛
英特尔发布AI推理GPU Crescent Island：480GB显存，主打能效与开放生态
英特尔在Hot Chips 2026大会上公布了面向企业数据中心的AI推理GPU Crescent Island的软硬件细节。该卡采用Xe3P架构，配备160GB LPDDR5X显存（可扩展至480GB），功耗350W，支持FP4到FP64精度，并兼容vLLM等主流推理框架。其设计聚焦每瓦Token能效、超大显存和开放软件栈，旨在满足Agentic AI推理
正文结构化主题已通过公开置信门槛
llama.cpp b10742 发布：为 A18 Pro 添加 fa-vec 调优
llama.cpp 发布 b10742 版本，主要更新是为 A18 Pro 芯片（MacBook Neo）添加 fa-vec 调优。该版本提供了适用于 macOS、Linux、Windows、Android 和 iOS 的多种二进制文件，支持 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等后端。
正文结构化主题已通过公开置信门槛
llama.cpp b10741 发布：修复 n layer nextn 加载问题
llama.cpp 发布 b10741 版本，主要修复了在调用 n layer() 之前加载 hparams.n layer nextn 的问题，并移除了重复加载。该版本提供了适用于 macOS、Linux、Android、Windows 等多个平台的预编译二进制文件，并支持多种后端如 Vulkan、ROCm、CUDA 等。
正文结构化主题已通过公开置信门槛
Sequoia孵化的Empirik融资2100万美元，用AI预测基础设施故障
Empirik 是一家由 Sequoia Capital 孵化的初创公司，专注于利用 AI 预测基础设施故障，于周二宣布获得 2100 万美元种子轮融资，投资方包括 Sequoia、Canapi 和 Alumni Ventures。该公司的产品通过跟踪系统变更并推断其潜在影响，帮助 DevOps 和 SRE 团队预防中断。Empirik 已拥有包括 S&P
正文结构化主题已通过公开置信门槛
LuffyTheFox 发布基于 Qwen3.6 的无审查多模态 MoE 模型 Genesis Hermes V12
LuffyTheFox 发布了基于 Qwen3.6-35B-A3B 的无审查多模态 MoE 模型 GGUF 版本，采用其自研的 Genesis 算法对张量进行噪声修复，声称能提升模型稳定性和指令遵循能力。该模型融合了 Hermes 微调数据，支持多语言和视觉任务，并提供了量化脚本和推荐配置。
9月1日周二 · 2 条
正文结构化主题已通过公开置信门槛
llama.cpp b10740 发布：修复 Metal 内存泄漏
llama.cpp 发布 b10740 版本，主要修复了 Metal 后端因缺少 autoreleasepool 导致的内存泄漏问题，并进行了变量重命名和警告修复。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，支持多种硬件加速后端。
正文结构化主题已通过公开置信门槛
AI 推理 GPU 规模规划与 TCO 优化指南
NVIDIA 技术博客发布了一篇关于 AI 推理 GPU 规模规划与 TCO 优化的实用指南。文章提出了一个框架，帮助组织根据实际工作负载（如用例、令牌模式、延迟目标、并发度、缓存命中率等）来选择合适的 GPU 资源，避免过度配置。文中介绍了核心-弹性（core-and-flex）容量策略，并讨论了量化、剪枝和蒸馏等模型优化技术，以在提升性能的同时降低总拥有