llama.cpp b10273 发布：调整采样器默认上下文长度
llama.cpp 发布 b10273 版本，主要更新是移除了基于历史采样器中的“全上下文窗口”功能，将默认上下文长度从 -1 解析为 1024 而非完整上下文长度，并为历史采样器设置共享默认值 64。该版本提供了多平台预编译二进制文件，包括 macOS、Linux、Windows、Android 等，并支持多种后端如 CUDA、Vulkan、ROCm 等。
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3343 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
8月5日周三 · 10 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
AtomicChat 发布 DeepSeek-V4-Flash GGUF 量化版，质量对比领先
AtomicChat 发布了 DeepSeek-V4-Flash-0731 的 GGUF 量化版本，该模型为 284B 参数的 MoE 模型，已进行量化感知训练，专家权重以 MXFP4 存储。文章提供了详细的量化质量对比表，显示在相同大小下其量化版本优于 unsloth 的版本，并警告 GGUF 文件中的聊天模板已过时，需手动替换以避免推理能力下降。
正文结构化主题已通过公开置信门槛
Ollama v0.32.6 发布：提升 Apple GPU 性能并优化 API 兼容性
Ollama 发布 v0.32.6 版本，主要改进包括：在 Apple GPU 上通过 MLX 引擎自动使用 MTP 头进行推测解码，提升 Qwen3.5 性能；优化 OpenAI 兼容 API 的流式响应格式，使其更符合官方规范；修复了截断响应的 finish reason 报告问题；为云模型提供 kimi-k3:cloud 标签；修复 TUI 多个问题；
正文结构化主题已通过公开置信门槛
Amazon Bedrock 推出 Web Search 功能，实现基础模型网络知识接地
AWS 在纽约峰会上宣布 Amazon Bedrock 上的 Web Search 功能正式可用，该功能通过内置的服务器端工具，将模型响应基于最新的网络知识进行 grounding，无需第三方供应商或外部 API。它采用多源 grounding 方法，结合亚马逊运营的网络索引和知识图谱，提供上下文高效的检索和单参数启用，并支持企业级合规（零数据出口）。开发者
正文结构化主题已通过公开置信门槛
MiniMax-H3 GGUF 量化版发布，支持文本生成视频
realrebelai 在 Hugging Face 上发布了 MiniMax-H3 模型的 GGUF 量化版本，支持文本到视频生成，并提供了 ComfyUI 的目录结构。该模型基于 Comfy-Org/MiniMax-H3，包含 UNet、文本编码器和 VAE 组件，用户需从 Comfy-Org 获取 VAE 文件。发布者声称已获得 MiniMax 的许可
正文结构化主题已通过公开置信门槛
llama.cpp b10270 发布，支持 Qwen3-TTS
llama.cpp 发布 b10270 版本，主要新增对 Qwen3-TTS 的支持，包括文本模型、编码器、说话人编码器及代码到语音的转换，并重构了 llama-tts 二进制文件。该版本还提供了多种平台和硬件加速的预编译二进制文件。
正文结构化主题已通过公开置信门槛
Qwen3.6-35B-A3B 无审查多模态模型 Genesis Hermes V6 发布
LuffyTheFox 发布了基于 Qwen3.6-35B-A3B 的无审查多模态 MoE 模型 Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V6-GGUF，该模型通过其自研的 Genesis 算法对张量进行噪声修复，无需重新训练即可提升模型稳定性和输出质量。模型融合了 Hermes 微调数据，支持多语言和视觉任务，并
正文结构化主题已通过公开置信门槛
bartowski 发布 DeepSeek-V4-Flash-0731 的 MXFP4 量化版 GGUF
bartowski 使用 llama.cpp b10173 对 deepseek-ai 的 DeepSeek-V4-Flash-0731 模型进行了量化，发布了 GGUF 格式的 MXFP4 版本，文件大小为 156.38GB。该模型拥有 284B 参数，目前仅提供 MXFP4 格式，其他量化大小可能后续推出。用户可通过 llama.cpp、LM Studi
正文结构化主题已通过公开置信门槛
llama.cpp b10269 发布：修复 dflash wo a 加载问题
llama.cpp 发布 b10269 版本，主要修复了 dflash wo a 在加载时的 reshape 问题。该版本提供了适用于 macOS、Linux、Windows、Android 等多种平台的预编译二进制文件，并支持多种硬件加速后端。
正文结构化主题已通过公开置信门槛
llama.cpp b10268 发布：修复 macOS 兼容性并更新预编译二进制
llama.cpp 发布 b10268 版本，主要修复了 macOS 15 及以下版本预编译二进制无法工作的问题，并禁用了 KleidiAI 构建。该版本提供了覆盖 macOS、Linux、Android、Windows 和 openEuler 的多种预编译二进制文件，支持 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等后端。
8月4日周二 · 10 条
正文结构化主题已通过公开置信门槛
llama.cpp b10267 发布：重构投机解码配置
llama.cpp 发布 b10267 版本，主要重构了 speculative decoding 的配置初始化逻辑，减少代码重复，现有测试通过。该版本提供了多平台二进制包，包括 macOS、Linux、Windows、Android 等，并支持多种后端如 Vulkan、CUDA、ROCm 等。
正文结构化主题已通过公开置信门槛
Zero-Mem：面向 LLM 代理的零 Token 记忆操作
Zero-Mem 提出了一种零 token 记忆操作方案，使 LLM 代理在长交互中无需额外 LLM 调用即可管理记忆。它通过实体-上下文图和时间层次结构组织原始交互痕迹，仅最终问答阶段调用 LLM。在长记忆和长上下文问答基准上，Zero-Mem 达到竞争性性能，并将记忆操作时间成本降低 57.6%。
正文结构化主题已通过公开置信门槛
llama.cpp b10265 发布：同步 ggml 并更新多平台二进制
llama.cpp 发布了 b10265 版本，主要同步了 ggml 更新。该版本提供了适用于 macOS、Linux、Windows、Android 和 openEuler 的多种二进制文件，支持 CPU、Vulkan、ROCm、OpenVINO、SYCL、CUDA 等多种后端。部分平台（如 macOS KleidiAI 和 openEuler）的构建被禁
正文结构化主题已通过公开置信门槛
Liquid AI 发布 LFM2.5-2.6B：高效本地智能体模型
Liquid AI 发布了 LFM2.5-2.6B，一个 2.6B 参数的小型语言模型，专为本地和边缘设备上的智能体部署而设计。该模型通过四阶段后训练（包括 SFT、教师专业化、多领域策略蒸馏和智能体强化学习）在工具使用、指令遵循和多步智能体任务上表现出色，可与 4 倍大的模型竞争。LFM2.5-2.6B 支持高效的 CPU 和 GPU 推理，在 Apple
正文结构化主题已通过公开置信门槛
llama.cpp b10262 发布：Vulkan 后端新增 GATED LINEAR ATTN 支持
llama.cpp 发布 b10262 版本，主要更新是在 Vulkan 后端实现了 GATED LINEAR ATTN 操作，并更新了相关文档。该版本提供了适用于 macOS、Linux、Android、Windows 和 openEuler 的多种二进制包，支持 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等后端。
正文结构化主题已通过公开置信门槛
llama.cpp b10261 发布：验证 Plamo2 字节 token
llama.cpp 发布 b10261 版本，主要更新是验证了 plamo2 字节 token。该版本提供了适用于 macOS、Linux、Windows、Android 和 openEuler 等多个平台的预编译二进制文件，并支持多种硬件加速后端。
正文结构化主题已通过公开置信门槛
Cloudflare 推出 Agents 平台，提供代理追踪与可观测性
Cloudflare 推出 Cloudflare Agents，整合部署和管理托管代理所需的一切，首先提供可观测性功能。该平台支持代理追踪，兼容 OpenTelemetry 的代理框架（如 Think、Flue 和 AI SDK），并在仪表板中新增 Agents 视图，用于可视化、回放和调试代理会话。此举旨在帮助开发者理解代理行为、成本，并推动自主改进的代理
正文结构化主题已通过公开置信门槛
Cloudflare 推出代理开发生命周期工具集，推动软件工厂自动化
Cloudflare 宣布推出新工具集，旨在让 AI 代理超越代码生成，承担更多软件开发生命周期（SDLC）的任务，包括 CI/CD 运行、本地开发中的可观测性、代理监控等。Cloudflare 提出用代理开发生命周期（ADLC）取代传统 SDLC，强调软件工厂需要可编程、可扩展、可复现、实时、原子化、权限化和自改进的平台。此举旨在应对 AI 生成代码带来的
正文结构化主题已通过公开置信门槛
Runware推出模块化推理Pod，探索数据中心便携化未来
AI基础设施公司Runware推出了模块化数据中心Sonic Inference Pod，这是一种可运输的推理计算单元，旨在以更低成本提供高质量推理服务。该产品采用闭式循环冷却系统，无需用水，可在数天内建成，并已在美国、欧洲和亚太地区部署了10个Pod。Runware CEO认为分布式计算靠近用户是长期趋势，并计划通过这种方式满足日益增长的推理需求。
正文结构化主题已通过公开置信门槛
llama.cpp b10259 发布：支持加载时张量重塑
llama.cpp 发布 b10259 版本，主要更新为允许在模型加载过程中重塑张量。该版本提供了适用于 macOS、Linux、Windows、Android 和 openEuler 等多个平台的预编译二进制文件，支持 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等多种后端。