Qwen3.8-27B 推出 16GB 显存适配的 GGUF 量化版
cHunter789 在 Hugging Face 上发布了 Qwen3.8-27B 模型的 GGUF 量化版本，采用 ik llama.cpp 项目的 IQ4 KS 和 IQ4 KT 量化技术，旨在让模型适配 16GB 显存的 NVIDIA 显卡。该量化版本通过 q4 0 KV 缓存量化支持最长 110k 上下文，并对比了与 mradermacher 量化
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3339 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
8月22日周六 · 20 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
llama.cpp b10582 发布：恢复 ROCm 构建并优化缓存
llama.cpp 发布 b10582 版本，主要恢复了 Ubuntu 上的 ROCm CI 构建，并调整了 ccache 配置以提升缓存命中率。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，涵盖 CPU、Vulkan、CUDA、ROCm、OpenVINO 等多种后端。
正文结构化主题已通过公开置信门槛
DoorDash 构建 SafeChat：实时市场中的 AI 安全系统
DoorDash 软件工程师 Bruna Pereira 在演讲中介绍了 SafeChat 系统，该系统用于实时市场平台中的 AI 安全检测。他们先收集数据训练小型分类器，快速过滤明显安全的消息，仅对少数消息调用 LLM 进行多维度评分，以平衡延迟和成本。该系统每天处理数百万条消息，确保平台安全。
正文结构化主题已通过公开置信门槛
llama.cpp b10581 发布，支持 DSpark 与 bailingmoe3
llama.cpp 发布 b10581 版本，新增对 DSpark 的支持，用于 bailingmoe3 模型。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的二进制文件，并支持多种硬件加速后端。
正文结构化主题已通过公开置信门槛
llama.cpp b10580 发布：支持 dots3-note 视觉与音频
llama.cpp 发布 b10580 版本，主要更新是支持 dots3-note 模型的视觉和音频处理（PR #27524），包括文本转换、初始化实现和 GGUF 张量映射的修改。该版本提供了适用于 macOS、Linux、Android、Windows 和 openEuler 的多种预编译二进制文件，涵盖 CPU、Vulkan、CUDA、ROCm、Ope
正文结构化主题已通过公开置信门槛
Qwen-3.8-27B 去审查版 8 位 MLX 量化发布
junafinity 发布了 Qwen-3.8-27B-Uncensored-8-Bit-MLX，这是对 Qwen-3.8-27B-Uncensored 的 8 位 MLX 量化版本，专为 Apple Silicon 设计，磁盘占用 28GB，视觉塔保持 bf16 未量化。该模型通过 ZeroFuse 权重编辑实现去审查，旨在用于红队和防御性网络安全研究，作
正文结构化主题已通过公开置信门槛
llama.cpp b10578 发布：优化 concat 操作并更新多平台支持
llama.cpp 发布 b10578 版本，主要优化了 ggml 库中的 concat 操作，将逐元素 memcpy 替换为行级 memcpy，以提升性能。该版本提供了适用于 macOS、Linux、Windows、Android 和 iOS 的多种预编译二进制文件，并支持 Vulkan、CUDA、ROCm、OpenVINO 等后端。
正文结构化主题已通过公开置信门槛
llama.cpp b10577 发布：修复 draft-mtp 与 embeddings 兼容性
llama.cpp 发布 b10577 版本，主要修复了 draft-mtp 与 embeddings 的兼容性问题。该版本提供了覆盖 macOS、Linux、Windows、Android 及 openEuler 等多平台的预编译二进制文件，并支持多种硬件加速后端。
正文结构化主题已通过公开置信门槛
llama.cpp b10576 发布：重新引入 SYCL Q2 K 内核
llama.cpp 发布 b10576 版本，重新引入了 SYCL 后端针对 Q2 K 量化格式的重排序 MMVQ 和 ESIMD 内核，并添加了门控参数。该版本提供了适用于 macOS、Linux、Windows、Android 和 iOS 的多种预编译二进制文件，支持 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等后端。
正文结构化主题已通过公开置信门槛
Netflix测试语言模型推荐系统GenRec，性能超越传统方法
Netflix开发了基于语言模型的推荐系统GenRec，将用户行为转换为纯文本，通过微调开源权重模型进行推荐排序。离线测试和在线A/B实验显示，其推荐质量优于现有系统，且所需标注数据减少约40倍。Netflix认为这是从定制架构向通用语言模型转变的一部分，但尚未完全替代现有系统。
正文结构化主题已通过公开置信门槛
SenseNova-U1-8B-MoT-Merger-gguf 模型发布，支持 ComfyUI 8G 显存
Hugging Face 上发布了 SenseNova-U1-8B-MoT-Merger-gguf 模型，该模型基于 SenseNova-U1-8B-MoT，支持在 ComfyUI 中运行，并针对 8GB 显存进行了优化。模型提供 Q4 和 Q6 量化版本，并展示了文本到图像生成的测试效果。
正文结构化主题已通过公开置信门槛
LTX-2.3 无审查版 v1.4 发布：融合 NSFW 与蒸馏 LoRA
ChrisColeTech 发布了 LTX-2.3-uncensored-v1.4-fp8 模型，基于 Lightricks 的 LTX-2.3 并融合了 Eros10 极端 NSFW LoRA 和 DMD 蒸馏 LoRA，支持文本到视频、图像到视频等多种模式，并提供了 GGUF 和 FP8 量化版本。该模型宣称可在 4-8 步内生成高质量视频，并支持长达
正文结构化主题已通过公开置信门槛
SGLang v0.5.18 发布：新增多模型支持与性能优化
SGLang 发布 v0.5.18 版本，包含 710 个 PR，来自 212 位贡献者。新增支持 Muse Glimmer、Intern-S2-Mobius、SANA-Video、LingBot-Video-MoE、LTX-2.5、Cosmos3 Edge & Distilled、LongCat-Image 等模型，并优化了启动性能、LMHead 通信和缓
正文结构化主题已通过公开置信门槛
Ollama v0.33.0 发布：修复 MLX 兼容性并新增 Claude 桌面应用支持
Ollama 发布了 v0.33.0 版本，主要修复了 MLX 在 Linux/Windows 上的兼容性问题，并更新了 MLX 相关组件。同时，应用新增了对 Claude 桌面应用的支持，改进了模型管理功能，并优化了引导布局。此外，启动时增加了对 DeepSeek Harness 的 npx 回退方案，并增强了 MLX 运行器的前缀缓存恢复能力。
正文结构化主题已通过公开置信门槛
Qwen3.8-27B 编码专用 GGUF 量化系列发布
quimmedes 发布了 Qwen3.8-27B 的 GGUF 量化版本（XYZ 系列），专注于编码任务，提供从 Q1Q 到 Q8 及 ULTRA 的多种量化档位，并支持 MTP 投机解码和视觉投影。该系列通过每张量量化配方保留关键张量精度，并针对代码测试套件优化，但明确不追求通用知识性能。用户可通过 llama-server 使用 OpenAI 兼容 A
正文结构化主题已通过公开置信门槛
KAT-Coder-V2.5-Dev APEX GGUF 发布：MTP 头实现 2 倍加速
Hugging Face 上发布了 KAT-Coder-V2.5-Dev 模型的 APEX GGUF 量化版本，该版本移植了 Qwen3.6-35B-A3B 的 MTP 头，实现了投机解码加速。实测在 agentic 编码任务上最高获得 2.03 倍加速，且正确性不变。推荐使用 n-max 3 的投机深度设置，并提供了详细的性能对比数据。
正文结构化主题已通过公开置信门槛
llama.cpp v0.2.0 发布：多后端优化与模型支持更新
llama.cpp 项目发布了 v0.2.0 版本，包含大量底层优化和修复，涉及 CUDA、SYCL、OpenCL、Vulkan、Metal 等多个后端。新增功能包括对 LFM2 模型的支持、GraniteSWA 模型、Mamba-2 的 OpenCL 移植，以及服务器端多项改进。该版本还提升了量化内存使用效率，并增强了 CI 和发布流程。
正文结构化主题已通过公开置信门槛
新 imatrix 数据集发布：量化校准实验与发现
Hugging Face 博客作者发布了新的 imatrix 校准数据集，并详细介绍了与 LTT Labs 团队合作进行的实验，测试不同数据集对量化模型性能的影响。实验发现，在低比特量化（如 Q2 K）下，imatrix 数据集的选择对 MoE 模型性能影响显著，但对高比特量化影响不大。作者公开了数据集和渲染脚本，并计划继续迭代。
正文结构化主题已通过公开置信门槛
MiniMax H3 量化版发布：NVFP4/INT4 支持 ComfyUI
rockerBOO 发布了 MiniMax H3 的量化版本，支持 NVFP4 和 INT4 格式，专为 ComfyUI 设计。这些单文件检查点将 33B 参数的模型从 34GB 压缩至 20GB，但 NVFP4 仅支持 Blackwell GPU。量化采用混合精度策略，保留敏感层为 BF16，并通过 AdaLN 剪枝进一步优化。
正文结构化主题已通过公开置信门槛
Amazon Bedrock 查询感知压缩降低 RAG 成本
AWS 机器学习博客介绍了一种在 Amazon Bedrock 上通过查询感知压缩降低 RAG 成本的方法。该方法在检索后、最终回答前，使用较小的模型（如 Claude Haiku）过滤检索到的文本块，仅保留与查询相关的部分，再交由主模型（如 Claude Sonnet）生成答案，从而减少输入 token 数量，节省成本并降低幻觉风险。文章还讨论了架构、成本