Qwen3.8-27B Heretic 去审查版 GGUF 量化发布
mlasli 发布了 Qwen3.8-27B-Heretic-Uncensored 模型的 GGUF 量化版本 v2.1.0，该版本通过 abliteration 技术移除安全对齐，并优化了 3-way 评估，在有害集上达到 92% 直接回答率。所有量化版本均保留 MTP 草稿头并固定为 Q8 0，支持 llama.cpp 的推测解码，并提供了各量化级别的烟
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3327 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
9月1日周二 · 16 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
Graham Dumpleton 发布 Wrapture：AI 驱动的 Python 测试与追踪库
Graham Dumpleton 发布了新项目 Wrapture，这是一个 Python 库，扩展了 wrapt 的 monkeypatching 思想，用于同时进行测试和追踪。Wrapture 可以包装任何函数或方法，支持追踪和覆盖返回值，并集成了 OpenTelemetry，提供基于配置的追踪机制。该项目完全由 AI 助手在 Dumpleton 的指导下
正文结构化主题已通过公开置信门槛
Liquid AI 发布 LFM2.5-VL-3B GGUF 量化版，面向边缘 AI
Liquid AI 发布了 LFM2.5-VL-3B 的 GGUF 量化版本，这是一个专为边缘 AI 和端侧部署设计的新一代混合模型，支持多语言和图像到文本任务。该模型可通过 llama.cpp 运行，并支持通过命令行加载图像进行对话。此版本旨在提供高质量、高速度和内存效率，为边缘设备上的多模态 AI 应用提供支持。
正文结构化主题已通过公开置信门槛
Liquid AI 发布 LFM2.5-VL-3B 多模态模型，面向端侧部署
Liquid AI 发布了 LFM2.5-VL-3B 多模态模型，基于 LFM2.5-2.6B 语言模型和 SigLIP2 NaFlex 视觉编码器，支持文本和图像处理，具备改进的接地、OCR 和高效推理能力。该模型专为端侧部署设计，在 Apple M5 Max 上达到 228 tok/s，在 AMD Ryzen AI Max+ 395 上达到 116 to
正文结构化主题已通过公开置信门槛
llama.cpp b10729 发布：为 M1 Ultra 添加 fa-vec 调优
llama.cpp 发布 b10729 版本，主要更新是为 Apple M1 Ultra 芯片添加了 fa-vec 调优，以提升 Metal 后端性能。该版本提供了适用于 macOS、Linux、Windows、Android 和 iOS 的多种预编译二进制文件，涵盖 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等后端。
正文结构化主题已通过公开置信门槛
llama.cpp b10728 发布：CUDA Flash Attention 优化
llama.cpp 发布 b10728 版本，主要更新为 CUDA 后端中 Flash Attention 的 XOR swizzle 优化，将 K/V 共享内存改为 fp16 瓦片，并修复了 DGX Spark 上的共享内存竞争问题。该版本提供了多平台预编译二进制文件，包括 macOS、Linux、Windows、Android 等。
正文结构化主题已通过公开置信门槛
llama.cpp b10727 发布：Metal 支持量化类型 concat
llama.cpp 发布 b10727 版本，主要更新是为 Metal 后端添加了量化类型的 concat 支持，并提供了适用于 macOS、Linux、Windows、Android 等多平台的预编译二进制文件。该版本还包含 KleidiAI 和 openEuler 构建的禁用说明，以及相关链接。
正文结构化主题已通过公开置信门槛
Dirk-Qwen3.8-27B-GGUF：精简模板提升效率的量化模型
Hugging Face 上发布了 Dirk-Qwen3.8-27B-GGUF，这是基于 Qwen3.8-27B 的量化模型，采用 Unsloth Dynamic 3.0 UD 量化，保留了 MTP 头，并集成了 Sharp 聊天模板。该模型通过精简系统提示和默认中等推理强度，减少了输出 token 数量，同时提升了准确率，在 SWE-bench-Live
正文结构化主题已通过公开置信门槛
AWS获评Forrester Wave AI基础设施解决方案领导者
AWS在Forrester Wave 2025年第四季度AI基础设施解决方案评估中被认定为领导者，在13家供应商中战略类别得分最高。该评估认可了AWS提供灵活、成本高效的AI基础设施，支持从训练到推理的完整工作负载生命周期。AWS提供专有AI芯片（如Inferentia和Trainium）以及NVIDIA GPU实例，强调客户选择和成本效率，避免供应商锁定。
正文结构化主题已通过公开置信门槛
llama.cpp b10726 发布：AVX2 下 IQ 模型大批量处理提速
llama.cpp 发布 b10726 版本，主要更新为在 AVX2 指令集下加速 IQ 模型的大批量提示处理，通过引入新的批处理 GEMM 内核和 IQ 面板解码优化，提升了性能。该版本还包含代码重构、NUMA 回退支持及新增测试，并提供了多平台预编译二进制文件。
正文结构化主题已通过公开置信门槛
AWS 推出基于 Bedrock 与 CloudFormation 的企业级代理检索方案
AWS 发布了一篇博客，介绍如何使用 Amazon Bedrock Managed Knowledge Base 和 AWS CloudFormation 构建可观测的企业级代理检索解决方案。该方案通过 AgentCore 和 AgenticRetrieveStream API 实现多知识库路由与迭代检索，并内置了基于 OpenTelemetry 的观测性和
正文结构化主题已通过公开置信门槛
Qwen3.8-27B ROCmFP4 量化版发布，AMD Strix Halo 上解码速度提升 2.83 倍
kingjones777 发布了 Qwen3.8-27B 的 ROCmFP4 量化版本，专为 AMD Strix Halo 平台优化，并捆绑了多 token 预测（MTP）草稿头。该版本在 AMD Ryzen AI Max+ 395 上实现了 30.30 tok/s 的解码速度，是标准 Q4 K M 的 2.83 倍，同时困惑度与 Q4 K M 持平。作者发
正文结构化主题已通过公开置信门槛
Langfuse v4.26.0 发布：新增 API 预览与评估追踪，修复多项问题
Langfuse 发布了 v4.26.0 版本，主要新增了 API 规范预览和评估器执行追踪链接功能，并修复了结构化输出中的推理冲突、OpenAI 工具 schema 嵌套及无状态调用等问题。此外，该版本还优化了 OTel 数据解析和 Web 组件重构。
正文结构化主题已通过公开置信门槛
llama.cpp b10724 发布：KV 缓存恢复性能大幅优化
llama.cpp 发布 b10724 版本，优化了 KV 缓存状态恢复时非连续单元格的散列读取性能，通过按连续运行批量复制，将恢复时间从 25-63 秒降至 221-424 毫秒，并增加了相关测试。
正文结构化主题已通过公开置信门槛
llama.cpp b10723 发布：优化 Intel Xe-LP GPU 的 OpenCL 量化性能
llama.cpp 发布 b10723 版本，主要针对 Intel Xe-LP GPU 优化 OpenCL 量化路径，通过调整 Q4 K/Q5 K 的矩阵乘法分块大小和 N DST 参数，提升其 TG 和 PP 性能。该版本同时提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件。
正文结构化主题已通过公开置信门槛
NVIDIA BioNeMo 与 Claude Science 集成，实现蛋白质结构预测
NVIDIA 与 Anthropic 合作，将 BioNeMo Agent Toolkit 集成到 Claude Science 中，使 AI 代理能够直接调用 BioNeMo NIM 微服务进行蛋白质结构预测。该工具包将生命科学模型封装为代理可调用的技能，在内部基准测试中将任务正确率从 60% 提升至 100%，并将 token 效率提高约一倍。教程展示了
8月31日周一 · 4 条
正文结构化主题已通过公开置信门槛
NVIDIA 发布 GLM-5.2 NVFP4 量化模型
NVIDIA 发布了 GLM-5.2 的 NVFP4 量化版本，该模型基于 ZAI 的 GLM-5.2，采用 MoE 架构和稀疏注意力，支持长上下文。量化使用 NVIDIA Model Optimizer，支持 SGLang 和 vLLM 推理，专为 Blackwell 硬件优化。模型以 MIT 许可证发布，适用于商业和非商业用途。
正文结构化主题已通过公开置信门槛
llama.cpp b10721 发布：修复 WebGPU 偏移量崩溃问题
llama.cpp 发布 b10721 版本，主要修复了 WebGPU 后端中 ggml backend tensor get() 实现当偏移量不是 4 的倍数时可能崩溃的问题，并改进了代码可读性。该版本提供了适用于 macOS、Linux、Android、Windows 和 openEuler 等多个平台的预编译二进制文件，支持 CPU、Vulkan、CU
正文结构化主题已通过公开置信门槛
llama.cpp b10720 发布：ROCm 新增 radix TOP K 支持
llama.cpp 发布 b10720 版本，主要更新是在 ROCm 后端为长行添加了 radix TOP K 支持。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，并包含 UI 组件。
正文结构化主题已通过公开置信门槛
llama.cpp b10719 发布：为 M1 添加 fa-vec 调优
llama.cpp 发布 b10719 版本，主要更新是为 M1 芯片添加 fa-vec 调优（PR #28078），并提供了适用于 macOS、Linux、Windows、Android 等多平台的预编译二进制文件。该版本还包含对 KleidiAI 和 openEuler 构建的禁用说明，以及 UI 包。