Qwen-Image-2.1 未审查 GGUF 量化版发布
Hugging Face 用户 KasugaiSakura/abenzerps 发布了基于 Qwen/Qwen-Image-2.1 的未审查（Uncensored）GGUF 量化版本，用于本地图像生成。该仓库提供 BF16、FP8、INT8、NVFP4、MLX 4/6/8-bit 以及 Q8 0 至 Q4 0 等多种量化格式，并附带文本编码器与 VAE 文件
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3314 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
9月27日周日 · 14 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
llama.cpp b11211：RPC 改用 RDMA 完成队列避免忙等待
llama.cpp 发布 b11211 版本，主要变更是 RPC 后端改用 RDMA completion channel（完成队列）来避免忙等待（spin），并为 Apple RDMA 添加了 TODO。该版本同时提供了覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，涵盖 CUDA、Vu
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11209：修复 llama-bench 越界访问
llama.cpp 发布 b11209 版本，主要修复了 llama-bench 中 hf file 的越界访问问题（由 Adrien Gallouët 提交）。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制包，覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
正文结构化主题已通过公开置信门槛
GKE Pod 快照将模型加载时间缩短 89%，但快照生命周期管理成为新难题
Google 公布了 GKE Pod 快照的基准测试结果，称启动延迟最高可降低 89%，70B 参数模型加载仅需 37 秒、8B 模型 15 秒。该功能基于 gVisor 实现检查点与恢复，可保存 CPU/GPU 内存及运行状态，已于 5 月正式可用。但从业者指出，快照失效管理（模型摘要、CUDA/驱动版本、GPU 拓扑等兼容性键）以及恢复后的密钥、环境变量
正文结构化主题已通过公开置信门槛
llama.cpp b11207：Hexagon 支持分块 Q4 0/Q8 0 GET ROWS
llama.cpp 发布 b11207 版本，主要更新为 Hexagon 后端新增对分块（tiled）Q4 0 和 Q8 0 量化格式的 GET ROWS 支持，采用分块 HVX 反量化并改进 DMA 流水线与内核选择逻辑，同时重新启用向量化器。该版本同步提供 macOS、Linux、Windows、Android 等多平台预编译二进制包。
正文结构化主题已通过公开置信门槛
llama.cpp b11206 发布：Hexagon 后端新增采样器支持
llama.cpp 发布 b11206 版本，主要新增 Hexagon 后端采样器支持（PR #29502），包括实现 TOPK、STEP、SUM、ARGMAX、ARGSORT 等采样算子，并改进二进制算子对大 logits 的分块处理与标量支持。同时修复了维度广播索引错误和性能回退问题，并禁用自动向量化以改用显式提示优化关键循环。该版本为 Snapdrag
正文结构化主题已通过公开置信门槛
ggml-org 发布 Qwen3.8-27B GGUF 量化模型
ggml-org 在 Hugging Face 上发布了 Qwen3.8-27B 的 GGUF 量化版本，基于 Qwen/Qwen3.8-27B 与 incoai/Qwen3.8-27B-DFlash2 转换而来，采用 apache-2.0 许可，支持 image-text-to-text 任务，可通过 llama.app 的 llama serve 命令直
正文结构化主题已通过公开置信门槛
中科通量SmarCo系列产品亮相全球数字贸易博览会
中科通量在9月23日至27日于杭州举行的第五届全球数字贸易博览会上展出SmarCo系列全线产品，涵盖AI工作站、AI数字员工、智能视频编码一体机、智能视频存算一体机、智能视频研判一体机及信创智能企业级NAS存储一体机。其中SmarCo AI工作站基于国产RISC-V架构的SmarCo GC3 AI芯片，提供至高200TOPS算力与128GB统一内存，可支持7
正文结构化主题已通过公开置信门槛
Occamy-1.0 APEX-I-MiniPlus V2 GGUF 量化模型发布
IsValorum 在 Hugging Face 发布 Occamy-1.0-APEX-I-MiniPlus-V2-GGUF 量化模型，基于 Accio-Lab/occamy-1.0，采用逐张量定制量化方案，保留 F32 路由门、Q6 K 输出头和 Q8 0 注意力门。该版本面向系统内存（DDR4/DDR5）推理优化，支持最高 256K 上下文，并附带 Q8
正文结构化主题已通过公开置信门槛
llama.cpp b11205：CUDA 支持 Nemotron 3 SSM scan
llama.cpp 发布 b11205 版本，主要变更是 CUDA 后端支持 Nemotron 3 的 Puzzle state size 96，用于 SSM scan。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11202：修复 Windows 下 wake fd 警告
llama.cpp 发布 b11202 版本，主要修复了 Windows 平台上 server 的 wake fd 警告问题，由 Adrien Gallouët 提交。该版本同时提供 macOS、Linux、Windows、Android 等多平台及多种后端（CUDA、Vulkan、ROCm、SYCL、OpenVINO 等）的预编译二进制包。
正文结构化主题已通过公开置信门槛
Yue2-3B 音乐生成模型 GGUF 权重发布，适配 audio.cpp
Hugging Face 上发布了 audio-cpp/Yue2-3B-GGUF 仓库，提供适配 audio.cpp 推理框架的 Yue2-3B 音乐生成模型 GGUF 权重，包含 BF16、Q8 0、Q4 0 三种量化版本及配套 VAE 权重。该仓库在 0.8.1 版本中加入 LoRA 支持，并附带多种条件生成（直接生成、完整规划、旋律条件、乐谱条件）的示
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11201：回滚统一 KV 自动适配上下文长度改动
llama.cpp 发布 b11201 版本，主要变更是回滚了此前合并的 PR #28849（统一 KV 缓存下自动适配最大上下文长度的改动），恢复原提交 b04d4e5 之前的行为。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制包，覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVIN
正文结构化主题已通过公开置信门槛
ComfyPod-Models：ComfyUI 模型文件镜像仓库
Hugging Face 上出现一个名为 ComfyPod-Models 的镜像仓库，由 AiAngelGallery 发布，用于托管免费 AI Angel ComfyPod RunPod 模板所下载的模型文件，按 ComfyUI 的 models/ 目录结构组织。仓库声明所有文件与上游源逐字节一致（SHA-256 校验），目的是防止上游仓库移动或删除文件导
9月26日周六 · 6 条
正文结构化主题已通过公开置信门槛
实战中的自适应推荐系统：推理、评估与系统设计
Mallika Rao 在 InfoQ 演讲中分享构建自适应推荐系统的实践经验，指出真正的难点不在模型本身，而在于端到端系统设计。她强调推荐系统本质上是持续学习、适应和演进的反馈系统与分布式系统，需在延迟、成本、可观测性、实验、合规等现实约束下运行，并认为评估比建模更难，是必须作为一等公民对待的关键环节。
正文结构化主题已通过公开置信门槛
英伟达 SoL-Pi 通过优化 harness 将编码智能体 token 用量减半
英伟达研究人员提出 SoL-Pi 系统，通过自动优化编码智能体的控制层（harness）来降低 token 消耗。该系统让一个研究智能体观察另一个智能体的执行轨迹、提出修改并在预设环境中测试，在 535 个可执行环境中探索了 152 个方向，生成超 3000 次运行。在 EdgeBench 的 51 个公开任务上，SoL-Pi 性能与原始 Pi harnes
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11199：修复 jinja 编译错误
llama.cpp 发布 b11199 版本，主要修复了 jinja 模板相关的编译错误（PR #29468）。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，支持 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。
正文结构化主题已通过公开置信门槛
Qwen3.6-35B无审查Genesis版GGUF发布
Hugging Face 用户 LuffyTheFox 发布了 Qwen3.6-35B-A3B-Uncensored-Genesis-Final-GGUF 模型，基于 HauhauCS 的无审查版本进行后训练数据再生与校准。作者提出名为 Genesis 的算法，利用 Marchenko–Pastur 分布和自定义 SVD 修复 GGUF 模型张量中的训练噪声
正文结构化主题已通过公开置信门槛
笔记本无GPU跑7000亿参数GLM：SSD当显存的分层推理框架Colibrì
开发者JustVugg开源了纯C实现的分层推理框架Colibrì，通过将MoE模型的非活跃专家权重存放在NVMe SSD、按需加载，使744B参数的GLM-5.2可在最低16GB RAM的笔记本上无GPU运行。项目已支持9个模型家族，包括975B的Inkling和2.8T参数的Kimi K3，GitHub已获32k Star。其核心是LRU缓存、专家使用频率
正文结构化主题已通过公开置信门槛
llama.cpp b11195：为 k-quants 引入分块 mul mat 加速
llama.cpp 发布 b11195 版本，为 ggml-cpu 后端引入针对 k-quants 的 tiled mul mat 实现。该方法将量化权重解包为最大 256x256 的 int8 分块，再通过微内核计算 16x16 分块后写出结果，在大矩阵乘法上带来 3-6 倍加速，但在 GEMV 场景下性能下降约 80%。同时包含 ARM/Windows