NVIDIA Nemotron 3.5 Lightning 登陆 SageMaker JumpStart
AWS 宣布 NVIDIA Nemotron 3.5 Lightning 模型现已在 Amazon SageMaker JumpStart 上提供，该模型专为高容量代理工作负载设计，采用混合 MoE 架构，总参数 30B 但仅激活 3B，支持高达 1M 上下文长度，吞吐量提升 4 倍，任务完成速度提升 30%。用户可通过 SageMaker JumpStar
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3340 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
8月18日周二 · 3 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
llama.cpp b10472 发布：修复 HIP 内存报告问题
llama.cpp 发布 b10472 版本，主要修复了 HIP 构建中错误使用 UMA 覆盖的问题，AMD APU 现在通过 hipMemGetInfo 报告准确内存，避免小内存系统上的过度承诺。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的二进制文件，并支持多种后端如 CUDA、Vulkan、ROCm 等。
正文结构化主题已通过公开置信门槛
Groq 融资 3.5 亿美元，转型 AI 云服务提供商
AI 芯片初创公司 Groq 宣布获得 3.5 亿美元融资，由 Disruptive 领投，Nvidia 计划参投，估值 35 亿美元，较去年 9 月的 69 亿美元有所下降。Groq 正从 AI 芯片制造商转型为提供 Nvidia GPU 和 AI 基础设施服务的 neocloud 公司，计划到 2027 年将数据中心容量从 54 兆瓦扩展到 200 兆瓦
8月17日周一 · 17 条
正文结构化主题已通过公开置信门槛
Anthropic 报告 Claude Opus 5 与 Sonnet 5 性能降级
Anthropic 报告 Claude Opus 5 和 Claude Sonnet 5 出现性能降级问题，影响 claude.ai、Claude API、Claude Code 和 Claude Cowork。目前 Opus 5 已恢复运行，Sonnet 5 仍处于降级状态，团队正在调查并实施修复。
正文结构化主题已通过公开置信门槛
Langfuse v4.12.0 发布：新增 v4 迁移 UI 与多项修复
Langfuse 发布 v4.12.0 版本，包含多项功能改进、修复和优化。主要新增了 v4 迁移 UI 开关、PostHog 导出失败通知、过滤器侧边栏搜索等功能，并修复了多个 UI 和 API 问题。此外，该版本明确了 v3 API 的弃用日期为 2026 年 11 月 16 日，并更新了 Gemini 模型定价。
正文结构化主题已通过公开置信门槛
llama.cpp b10470 发布：改进标签推送流程并更新多平台构建
llama.cpp 发布 b10470 版本，主要更新是改进了发布流程，在 release.yml 中显式创建并推送 git 标签，使标签创建幂等且不依赖 Releases API。该版本提供了适用于 macOS、Linux、Windows、Android 等平台的多种二进制构建，包括 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等
正文结构化主题已通过公开置信门槛
LocalAI 发布 Gemma 4 26B-A4B Heretic APEX 量化模型
LocalAI 团队发布了 Gemma 4 26B-A4B Heretic（去审查版）的 APEX 量化 GGUF 模型，采用混合专家架构，支持视觉理解。该模型通过 Heretic 工具进行任意秩消融以减少拒绝行为，同时保持性能。APEX 量化策略针对 MoE 模型优化，提供多种精度配置以适应不同硬件。
正文结构化主题已通过公开置信门槛
LocalAI 发布 Gemma 4 26B MoE 的 APEX 量化版
LocalAI 团队发布了 Gemma 4 26B-A4B 模型的 APEX 量化版本，该模型基于 TeichAI 对 Google Gemma 4 的 Claude Opus 推理蒸馏版本。APEX 是一种针对 MoE 模型的量化策略，通过按张量角色分类并应用分层精度梯度来优化性能。该模型支持视觉，并可通过 LocalAI 运行。
正文结构化主题已通过公开置信门槛
LocalAI 发布 Gemma 4 26B-A4B APEX 量化 GGUF 模型
LocalAI 团队发布了 Gemma 4 26B-A4B 的 APEX 量化 GGUF 模型，该模型基于 Google 的 Gemma 4 26B-A4B，采用 APEX 量化策略，提供多种精度配置文件，并包含视觉投影器。模型支持本地运行，通过 llama.cpp 构建，旨在优化 MoE 模型的推理效率。
正文结构化主题已通过公开置信门槛
LocalAI 发布 Qwopus3.6-35B-A3B-Coder APEX-MTP GGUF 量化模型
LocalAI 团队发布了 Qwopus3.6-35B-A3B-Coder 的 APEX-MTP GGUF 量化版本，该模型基于 Qwen3.6-35B-A3B 架构，内置 MTP 多头预测头，支持自推测解码，无需单独草稿模型。提供了多种量化配置，包括 I-Balanced、I-Quality 等，并包含视觉投影器，支持图像理解。该发布旨在提升 MoE 模型
正文结构化主题已通过公开置信门槛
LocalAI 发布 Qwopus3.6-35B-A3B-Coder 的 APEX 量化版本
LocalAI 团队发布了 Qwopus3.6-35B-A3B-Coder 的 APEX 量化版本，该模型是基于 Qwen3.6-35B-A3B 的 MoE 编码模型，支持视觉。APEX 量化策略针对 MoE 模型按张量角色分类并应用分层精度梯度，提供多种量化配置以适应不同硬件。该模型还包含 MTP 头，支持自推测解码，并可通过 LocalAI 运行。
正文结构化主题已通过公开置信门槛
Mistral AI发布Shieldstral：3B小模型重构AI安全审核范式
Mistral AI 于2026年8月4日发布Shieldstral，一款3B参数的多模态安全分类器，支持通过自然语言自定义审核规则，统一审核文本、图片及图文混合内容。该模型采用三层设计，将审核任务转化为Yes/No判断，通过对比式训练和合成数据提升规则匹配能力，在多个基准上超越更大参数模型。Shieldstral降低了部署门槛，展示了小模型在垂直场景中的潜
正文结构化主题已通过公开置信门槛
智谱GLM-5.3发布，范式PhanRouter同日上线开放调用
智谱AI于8月14日发布新一代开源模型GLM-5.3，总参数量7430亿，能力提升源自后训练强化学习，编程能力提升50%，在多个基准测试中位列开源模型第一。同日，范式旗下统一模型调用平台PhanRouter完成适配并开放调用，成为首批支持该模型的平台之一，用户无需更换API地址即可直接调用。PhanRouter提供统一API、智能路由和缓存优化，兼容多款国产
正文结构化主题已通过公开置信门槛
阿里云Tair KVCache仿真分析：高精度计算与缓存模拟设计
阿里云官方AI博客发布了一篇关于Tair KVCache仿真分析的技术文章，详细介绍了LLM推理性能模拟系统的设计与实现。文章分析了推理引擎的架构、调度策略及计算模型，并提出了高精度模拟远端KVCache配置对推理性能影响的方案。该方案旨在通过CPU平台快速预测不同配置下的TTFT、TPOT等关键指标，为推理系统优化提供决策依据。
正文结构化主题已通过公开置信门槛
llama.cpp b10456 发布：SYCL 量化拷贝性能大幅提升
llama.cpp 发布 b10456 版本，修复了 SYCL 后端量化拷贝内核中的线程/块计数问题，使其与量化大小成比例，从而减少过订阅或欠订阅。在 Arc 70 上，q4 0 到 f32 路径的吞吐量从 20.21 GB/s 提升至 158.19 GB/s，其他量化类型性能提升不明显。该版本提供了多平台预编译二进制文件。
正文结构化主题已通过公开置信门槛
llama.cpp b10455 发布：新增 SYCL 优化步骤支持
llama.cpp 发布 b10455 版本，主要新增 SYCL 后端对 OPT STEP ADAMW 和 OPT STEP SGD 优化步骤的支持。该版本提供了覆盖 macOS、Linux、Windows、Android 等多平台的预编译二进制文件，并包含多种后端（如 Vulkan、CUDA、ROCm、OpenVINO 等）的构建。部分平台构建（如 Kle
正文结构化主题已通过公开置信门槛
L-FNO：用于随机事件动态的洛伦兹傅里叶神经算子
L-FNO 是一种结合 FNO 风格协变量路径、洛伦兹谱核和基于似然的训练目标的新型随机神经算子，用于建模随机事件动态。它在八个合成点过程基准和三个真实数据集上优于回归和基于似然的神经算子基线，改善了事件似然、校准诊断和罕见事件检测。研究表明，结构化谱记忆和基于似然的学习为神经算子模型提供了有效的归纳偏置。
正文结构化主题已通过公开置信门槛
LLM服务一年追踪：工作负载演变、缓存与负载均衡
该研究基于公司X一年的生产追踪数据，对LLM服务负载进行了纵向分析，覆盖多个模型和用户，揭示了工作负载演变、缓存和负载均衡等特征。研究将发布完整追踪数据以支持后续研究，弥补现有研究在时间跨度和用户-模型交互方面的不足。
正文结构化主题已通过公开置信门槛
Intern-S2-Mobius：解耦知识与推理的基础模型
Hugging Face 论文页面介绍了 Mobius-v0 架构，该架构将全局共享的 FFN 内存与多个自注意力推理器分离，以提升知识压缩和推理效率。基于此架构，7B 模型仅用基线 62.6% 的训练数据即达到相似性能，而 Intern-S2-Mobius 在持续预训练后实现了近 4 倍的端到端推理加速。
正文结构化主题已通过公开置信门槛
BatiAI 发布 Qwen3.6-27B GGUF 量化版，主打端侧智能体编码
BatiAI 发布了 Qwen3.6-27B 的 GGUF 量化版本，该模型基于阿里巴巴 2026 年 4 月 22 日开源的 Qwen3.6-27B 稠密模型，支持多语言、多模态和 262K 上下文。量化版本针对苹果芯片优化，提供多种量化等级，可在 Ollama 上运行，并宣称在智能体编码基准上媲美或超越 Qwen 3.5-397B-A17B MoE 模型