双账本模型：跨云跨模型多智能体AI系统的交易粒度成本核算
该论文指出，企业多智能体AI系统横跨多云、多模型与多个记录系统，但财务只能拿到结算粒度的账单数据，无法回答单笔订单、理赔或案件消耗了多少AI成本。作者形式化了结算粒度与交易粒度之间的错配，提出「双账本模型」：将符合FOCUS规范的结算账本与基于OpenTelemetry GenAI遥测的调用粒度归因账本关联，并通过分层关联脊柱、版本化费率卡和周期对账实现按交
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3293 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
11月6日周五 · 20 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
FLUX.2-klein-9B 的 Nunchaku 量化版本发布
Hugging Face 用户 tonera 发布了 FLUX.2-klein-9B 的 SVDQuant/Nunchaku 量化版本，基于 black-forest-labs 的官方全精度模型进行 int4/fp4 量化。在 RTX 5090 上，量化后配合 CPU offload 可将图像编辑峰值显存从 20.18GB 降至 7.52GB，吞吐量提升约
正文结构化主题已通过公开置信门槛
MonsterMMORPG 发布 Wan GGUF 量化模型
MonsterMMORPG 在 Hugging Face 上发布了 Wan GGUF 模型，该模型基于 Wan 2.2 技术，采用 GGUF 量化格式。发布者 Dr. Furkan Gözükara 是一位生成式 AI 研究员和教程制作者，他通过 SECourses 平台提供相关教程。该模型旨在为生成式 AI 应用提供高效的量化版本。
正文结构化主题已通过公开置信门槛
llama.cpp b12142：修复 Vulkan FA 反量化路径 scratch 大小检查
llama.cpp 发布 b12142 版本，修复了 Vulkan 后端在 Flash Attention 反量化路径中未检查 K+V 合并 f16 scratch 大小的问题（对应 issue #30048）。该版本同时提供 macOS、Linux、Windows、Android 等多平台、多后端（CUDA、Vulkan、ROCm、SYCL、OpenVIN
正文结构化主题已通过公开置信门槛
llama.cpp b12141：llama-server 检查点改用引用计数
llama.cpp 发布 b12141 版本，核心改动是 llama-server 的检查点机制改用引用计数（shared ptr）替代深拷贝，以降低开销，并基于 #26004 的槽位保存/恢复逻辑适配到共享指针检查点列表与 common state data 缓冲区。该版本同时提供 macOS、Linux、Windows、Android 等多平台多后端（C
正文结构化主题已通过公开置信门槛
Abliterant 发布 Qwen3.8-27B 去拒绝 GGUF 量化版
Abliterant 在 Hugging Face 发布了 Qwen3.8-27B-RANA-abliterated-GGUF，这是对 Qwen/Qwen3.8-27B 进行拒绝方向消融（refusal ablation）后的 27B 视觉语言模型的 GGUF 量化版本，面向 llama.cpp 及兼容应用。仓库提供从 Q8 0 到 IQ2 M 共 15 种
正文结构化主题已通过公开置信门槛
llama.cpp b12140：ggml 支持 YaRN truncate=false
llama.cpp 发布 b12140 版本，为 ggml 的 YaRN 位置编码实现新增 truncate=false 支持，即不再将频率插值切换的修正区间边界取整。该改动覆盖 CPU 与 CUDA 后端并补充了测试，同时将 RoPE 辅助函数移入内部头文件。此举使 llama.cpp 能正确支持使用 truncate=false 的模型，如 gpt-os
正文结构化主题已通过公开置信门槛
huihui-ai 发布 DeepSeek-V4.1-Flash 去审查 GGUF 模型
huihui-ai 在 Hugging Face 发布了 Huihui-DeepSeek-V4.1-Flash-1017-abliterated-GGUF，这是基于 deepseek-ai/DeepSeek-V4.1-Flash-1017 的「去审查」版本，通过 llama.cpp 的 cvector-generator 对 GGUF 模型做 abliter
正文结构化主题已通过公开置信门槛
llama.cpp b12137：修复 server 非对象会话更新导致的崩溃
llama.cpp 发布 b12137 版本，主要修复了 server 端对非对象（non-object）实时会话更新的处理问题，避免畸形请求触发未捕获异常导致服务器终止。该补丁由 Hugging Face 的 Adrien Gallouët 提交，同时该版本照例提供 macOS、Linux、Windows、Android 等多平台多后端的预编译二进制包。
正文结构化主题已通过公开置信门槛
llama.cpp b12136 修复 fit 未计入 NextN 层问题
llama.cpp 发布 b12136 版本，修复了 fit 功能在设置 n gpu layers 时未计入被跳过的 NextN 层的问题。此前在无 MTP 情况下，fit 统计 n layer+1 层而加载器统计 n layer all+1 层，导致全量卸载后仍有层（如 Qwen3.8-27B 双 GPU 上显示 65/66 层）留在 CPU。该修复将跳过
正文结构化主题已通过公开置信门槛
Cactus-Compute 发布 16.9MB 七语种端侧语音模型 Whistle
Cactus-Compute 在 Hugging Face 发布 Whistle 语音模型，仅 16.9 MB，支持英语、德语、法语、西班牙语、意大利语、荷兰语、波兰语七种语言的语音转写、词级时间戳和语音嵌入。模型采用 Apache-2.0 许可，面向端侧与边缘设备，并支持 WebAssembly，可通过 cactus-compute Python 包调用。
正文结构化主题已通过公开置信门槛
Cactus-Compute 发布端侧工具调用模型 Needle 3
Cactus-Compute 在 Hugging Face 发布端侧模型 Needle 3，面向工具调用、结构化抽取和文本嵌入，采用 Apache-2.0 许可。该模型通过 cactus-compute Python 包分发，首次使用时自动下载并缓存引擎与权重，仓库提供 needle3.cact 和 safetensors 检查点，运行时二进制位于 Cact
正文结构化主题已通过公开置信门槛
llama.cpp b12135：WebGPU 新增 MEAN 算子支持
llama.cpp 发布 b12135 版本，主要变更为 WebGPU 后端新增 MEAN 算子支持（PR #31591，由 Codex 辅助完成）。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译包，涵盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。此次
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b12132：common 改用 generic string()
llama.cpp 发布 b12132 版本，主要变更是 common 模块移除 u8path() 并改用 generic string()，由 Hugging Face 的 Adrien Gallouët 提交。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译包，覆盖 CUDA、Vulkan、ROCm、SYCL
正文结构化主题已通过公开置信门槛
AgentionAI 发布 Qwen3.8-Flash-Next Gyro-Coder GGUF 量化编码模型
AgentionAI 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 Gyro-Coder GGUF 量化版本，通过每层仅保留 512 个专家中与编程相关的 256 个，并用自研 trellis 编码器实现 2.125 bits/weight，使 125B 参数的 MoE 编码模型可在单张 24GB 显卡（19.92 GiB 权
正文结构化主题已通过公开置信门槛
agentionai 发布去审查版 Qwen3.8-Flash-Next GGUF 量化模型
agentionai 在 Hugging Face 发布了基于 huihui-ai 去审查（abliterated）版 Qwen3.8-Flash-Next 的 GGUF 量化模型，提供 Gyro-S、Gyro-M、Gyro-L 三种尺寸，分别面向 32GB 显卡、48GB 显存/64GB 统一内存和 64GB 统一内存设备。该模型采用 trellis 量化
正文结构化主题已通过公开置信门槛
AgentionAI 发布 Qwen3.8-Flash-Next Gyro 系列 GGUF 量化模型
AgentionAI 在 Hugging Face 发布了 Qwen3.8-Flash-Next 的 Gyro 系列 GGUF 量化模型，包含面向 32GB 显卡的 Gyro-S、48GB 的 Gyro-M 和 64GB 统一内存的 Gyro-L，通过自研 APR 旋转基与 trellis 量化，在更小显存下实现接近 Q4 的精度。官方称 Gyro-S 在单
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b12131：server 改用 generic string()
llama.cpp 发布 b12131 版本，主要变更是 server 模块移除 u8path() 并改用 generic string()，由 Hugging Face 的 Adrien Gallouët 提交（#31682）。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包，覆盖 CUDA、Vulkan、R
正文结构化主题已通过公开置信门槛
LiquidAI 发布 LFM3-1.7B 的 MLX 8 位量化版
LiquidAI 在 Hugging Face 发布 LFM3-1.7B 的 8 位 MLX 量化版本 LFM3-1.7B-MLX-8bit，面向 Apple Silicon，权重占用 1.84 GB，采用 group size 为 64 的 8 位仿射量化。该版本需配合 MLX-VLM 0.7.11 及以上版本使用，并支持通过 --enable-think
正文结构化主题已通过公开置信门槛
Anthropic Python SDK 发布 v2.6.0
Anthropic 发布 Python SDK v2.6.0，新增 ramp limit 错误码、External Key 验证失败错误码，以及支持在所有设备上登出组织成员。同时修复 Bedrock 和 Vertex 平台客户端未抛出错误码与状态异常类的问题，并调整 OpenTelemetry span 不再记录采样参数。