LiteLLM v1.97.0-rc.1 发布：镜像签名验证与多项修复
LiteLLM 发布了 v1.97.0-rc.1 版本，该版本所有 Docker 镜像均使用 cosign 签名，并提供了通过提交哈希或发布标签验证签名的方法。此版本包含多项修复和功能更新，涉及 Azure Sentinel、Bedrock、Anthropic 适配器、代理、路由、UI 等，并增加了用户预算应用于团队密钥、自动路由器复杂度分层跟踪等功能。
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3341 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
8月9日周日 · 4 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
llama.cpp b10331 发布：修复 get info 隔离工作目录报告
llama.cpp 发布 b10331 版本，主要修复了 server 端 get info 接口在配置了工具运行时但未指定工作目录时，错误地报告服务器进程工作目录的问题。现在该接口会向隔离环境查询其工作目录，仅当工具在主机上运行时才保留进程目录。此修复由 Xuan-Son Nguyen 贡献。
正文结构化主题已通过公开置信门槛
llama.cpp b10330 发布：CUDA 融合 rms norm 与 rope 操作
llama.cpp 发布 b10330 版本，主要更新是在 CUDA 后端中融合了 rms norm、mul 和 rope 操作，并添加了相关测试和内存范围检查。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件。
正文结构化主题已通过公开置信门槛
llama.cpp b10329 发布：优化工作目录控件显示逻辑
llama.cpp 发布 b10329 版本，主要改进是服务器和 WebUI 仅在工具实际读取工作目录时才显示工作目录控件。工具现在在 /tools 列表中声明是否解析路径并基于工作目录运行，WebUI 仅在至少一个此类工具被服务且启用时显示相关控件。
8月8日周六 · 12 条
正文结构化主题已通过公开置信门槛
llama.cpp b10327 发布：修复 CUDA 量化 cpy 内核线程块计数
llama.cpp 发布 b10327 版本，主要修复了 CUDA 下量化 cpy 内核启动时线程/块数量计算错误的问题，并增加了不均匀块数量的测试用例。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，涵盖 CPU、CUDA、Vulkan、ROCm、OpenVINO、SYCL 等后端。
正文结构化主题已通过公开置信门槛
PydanticAI v2.27.0 发布：新增 Snowflake Cortex 支持与多项修复
PydanticAI 发布 v2.27.0 版本，新增对 Snowflake Cortex 的支持，包括 SnowflakeModel 和 SnowflakeProvider，并添加了 xai agent count 配置项。同时修复了多个与 OTel 序列化、消息压缩和 Temporal 负载限制相关的 bug，并改进了与 Vercel AI 和 AG-U
正文结构化主题已通过公开置信门槛
SGLang v0.5.17 发布：支持 Kimi K3 与 MiniMax-H3，多项性能优化
SGLang 发布 v0.5.17 版本，包含 582 个 PR，来自 194 位贡献者。主要亮点包括对 Kimi K3 和 MiniMax-H3 的 day-0 支持，以及新的 DCP 通信后端、DWDP 预填充策略、会话感知的 Radix Cache 等性能优化。此外，还新增了多个模型支持，并提升了引擎恢复速度和降低了主机开销。
正文结构化主题已通过公开置信门槛
llama.cpp b10322 发布：SYCL 优化 SSM CONV 性能提升
llama.cpp 发布 b10322 版本，主要更新为 SYCL 后端对 SSM CONV 窗口加载进行合并优化，在 Arc Pro B70 上性能提升约 1.85 倍，并在 Qwen3.5 27B 模型上带来约 2% 的预填充速度提升。该版本同时提供了多平台预编译二进制文件下载。
正文结构化主题已通过公开置信门槛
llama.cpp b10321 修复 Metal 归一化计算错误
llama.cpp 发布 b10321 版本，修复了 Metal 后端中 NORM/RMS NORM 操作在行长度非 simdgroup 倍数时计算错误的问题。该问题导致部分行求和结果偏小，进而影响均值和方差计算。修复通过向上取整线程组大小至完整 simdgroup 数解决，并新增了相关测试用例。修复后，M3 Pro 上的测试通过率从 25/50 和 26/
正文结构化主题已通过公开置信门槛
llama.cpp b10319 发布：修复 mtmd 像素处理问题
llama.cpp 发布 b10319 版本，主要修复了 mtmd 模块中 longest edge 忽略最小/最大像素的问题。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，并支持多种硬件加速后端。
正文结构化主题已通过公开置信门槛
AMD 收购 Taalas，将 AI 模型直接嵌入芯片
AMD 收购了加拿大 AI 初创公司 Taalas，该公司将 AI 模型直接嵌入芯片，实现极速推理。其演示芯片运行 Llama 3.1-8B 时每秒处理超 1.6 万 token，远超竞品。AMD 计划将该技术整合进其加速器路线图，与 Instinct GPU 一起提供系统级解决方案。
正文结构化主题已通过公开置信门槛
GLM-5.2 量化模型发布：混合精度专家与融合 MoE 优化
Hugging Face 上发布了 brandonmusic/GLM-5.2-EXL3-TR3v4-3.5bpw-MTP78 模型，基于 zai-org/GLM-5.2，采用 trellis 量化与混合精度专家，支持 MTP-78。该模型在 4x RTX PRO 6000 Blackwell 上实现了 KLD 0.061282（fp8 KV）和 0.0695
正文结构化主题已通过公开置信门槛
llama.cpp b10318 发布：同步 ggml 并更新多平台二进制
llama.cpp 发布 b10318 版本，主要同步了 ggml 更新，并提供了适用于 macOS、Linux、Windows、Android 等多平台的预编译二进制文件，涵盖 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等多种后端。该版本还包含 UI 组件，但部分平台（如 macOS KleidiAI、openEuler）的构建
正文结构化主题已通过公开置信门槛
llama.cpp b10313 发布：新增 LRU 调度器
llama.cpp 发布 b10313 版本，主要更新为在 server 的路由器中新增 LRU 调度器，以优化请求排队和流式处理。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，并支持多种硬件加速后端。
正文结构化主题已通过公开置信门槛
TReNDS利用Amazon Bedrock自动化根因分析
TReNDS中心（佐治亚州立大学、佐治亚理工学院和埃默里大学的联合中心）在AWS上构建了一个自动化根因分析系统，结合Amazon CloudWatch订阅过滤器、AWS Lambda、Strands Agents SDK和Amazon Bedrock，实时检测错误、丰富日志上下文并生成AI驱动的根因分析。该系统通过让基础模型读取日志和源代码来加速故障排查，将
正文结构化主题已通过公开置信门槛
llama.cpp b10312 发布：路由器不再驱逐繁忙模型
llama.cpp 发布 b10312 版本，主要更新是服务器路由器不再驱逐繁忙模型（PR #26567），并提供了适用于 macOS、Linux、Windows、Android 及 openEuler 的多平台预编译二进制文件。该版本还包含对 KleidiAI 和 openEuler 构建的禁用说明。
8月7日周五 · 4 条
正文结构化主题已通过公开置信门槛
llama.cpp 支持多种小型 OCR 模型，可在低端设备运行
llama.cpp 现已支持多种小型 OCR 模型，可在低端设备（如 4GB VRAM 的 GPU 或 CPU）上运行。文章介绍了如何使用 llama-cli 和 llama-server 运行这些模型，并通过 REST API 集成到应用中。支持的模型包括 GLM-OCR、Deepseek-OCR 等，并提供了提示词格式、量化选择及减少幻觉的建议。
正文结构化主题已通过公开置信门槛
llama.cpp b10311 修复 Qwen3-TTS 重复文本问题
llama.cpp 发布 b10311 版本，修复了 Qwen3-TTS 生成时文本流重复输入的问题。该问题源于非流式预填充与流式覆盖层不匹配，导致模型在生成时重复读取文本。修复后，覆盖层改为与预填充匹配的单个 tts pad 行。
正文结构化主题已通过公开置信门槛
llama.cpp b10310 发布：修复 aarch64 fp16 检测并更新多平台支持
llama.cpp 发布 b10310 版本，主要修复了 aarch64 架构下 HWCAP 回退逻辑和 fp16 变体检测问题，要求 HWCAP ASIMDHP 支持 fp16 CPU 变体，并重命名 has fp16 va 为 has fp16。该版本提供了多平台预编译二进制文件，包括 macOS、Linux、Windows、Android 等，并支持多
正文结构化主题已通过公开置信门槛
Lattice：8MB 静态检索模型，7 分钟嵌入维基百科
Hugging Face 博客发布了一篇关于静态检索模型 Lattice 的文章。作者 ErikKaum 训练了 lattice-retrieval 模型，在 660M 精选查询/文档对上训练，BEIR 基准上 NDCG@10 达到 0.4749，优于参考模型。该模型仅 8MB，可在 8 核 M2 MacBook Air 上 7 分 26 秒嵌入整个英文维基