llama.cpp 发布 b11381：修复 Windows strdup 警告
llama.cpp 发布 b11381 版本，主要修复了 Windows 平台上 mtmd 模块的 strdup 弃用警告，由 Adrien Gallouët 提交。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3313 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
10月4日周日 · 2 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
Qwen3.8-35B 去审查 APEX 量化 GGUF 发布
IsValorum 在 Hugging Face 发布了 Qwen3.8-35B-A3B-Distill-MTP 的 APEX-I-MiniPlus-V2.1 Abliterated GGUF 量化版本，这是一个去审查（零拒绝）的 MoE 模型，采用方向性消融技术移除拒绝向量，同时声称保留原有推理能力。该版本在约 14.66 GB 体积下达到 Q6 K 级别
10月3日周六 · 18 条
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11378：新增 TTY 辅助函数并修复 Windows 警告
llama.cpp 发布 b11378 版本，主要变更是新增 common is tty() 辅助函数并修复 Windows 上的弃用警告，由 Adrien Gallouët 提交。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包，覆盖 CPU、CUDA、Vulkan、ROCm、OpenVINO、SYCL
正文结构化主题已通过公开置信门槛
llama.cpp b11377：Ling 3.0 解析器支持 json schema
llama.cpp 发布 b11377 版本，主要修复了 Ling 3.0 解析器对 json schema 的支持问题。此前 Ling 3.0 只为工具调用构建语法，未处理 inputs.json schema，导致 response format 请求不受约束。本次新增了优先于工具的响应格式语法路径，并在启用思考时要求 JSON 前有 且不允许 JSON
正文结构化主题已通过公开置信门槛
llama.cpp b11375：统一收集循环状态修复图重分配中止
llama.cpp 发布 b11375 版本，修复了图调度中循环状态收集的问题。此前 build rs 用单独的 get rows 收集额外状态，导致最坏情况下预留节点被设为 0 行，当 ubatch 单元不连续时会触发图重分配，在 GGML SCHED NO REALLOC 下直接中止。现在改为单个 get rows 统一收集 n rs 状态，ubatch
正文结构化主题已通过公开置信门槛
llama.cpp b11374：ggml-openvino 更新至 2026.4.1 并优化 MoE 性能
llama.cpp 发布 b11374 版本，主要更新 ggml-openvino 后端至 2026.4.1，优化性能、扩展算子并改进设备枚举。更新包含针对 Qwen3.5 MoE 的性能优化、MoE 路由与 GDN 归一化融合、编译模型缓存导入模式，以及为 gemma-4 融合 gate up 权重的 MoE 专家实现。在 Arc B390 上，gemma
正文结构化主题已通过公开置信门槛
Qwen3.8-27B 拟人聊天模型 GGUF 量化版发布
Hugging Face 用户 LessThanThreeAI 发布了 Qwen3.8-27B-Humanlike-Chat 2.0 的 GGUF 量化版本，基于 huihui-ai 的 abliterated Qwen3.8-27B 模型进行量化。该模型主打无需系统提示即可像真人一样聊天，同时保留工具调用和指令遵循能力，在 IFBench、When2Cal
正文结构化主题已通过公开置信门槛
SC117 发布 Gemma 4 12B Heretic QAT Q4 0 GGUF 非审查模型
Hugging Face 用户 SC117 发布了 gemma-4-12B-it-heretic-QAT-GGUF 模型，这是基于 Google Gemma 4 12B IT 的 QAT 权重、经 Heretic ARA 消融（abliteration）去除审查后的非审查版本，并量化为 Q4 0 GGUF 格式（约 6.4 GB）。发布者特别说明文件名中的
正文结构化主题已通过公开置信门槛
SC117 发布 Qwen3.6-35B-A3B 去审查 APEX GGUF 量化版
Hugging Face 用户 SC117 发布了 Qwen3.6-35B-A3B 的去审查（uncensored/heretic）GGUF 量化版本，保留了原生 MTP 并采用 APEX 混合精度量化技术。APEX 是一种 MoE 感知的量化方法，按张量角色（路由专家、共享专家、注意力）分配精度，声称在体积减半的情况下困惑度优于 Q8 0 甚至 F16。该
正文结构化主题已通过公开置信门槛
AINews：GPT-6.1 Sol 与 Sonnet 5.5 重塑性价比前沿
本期 AINews 汇总了 2026 年 10 月初的 AI 动态：OpenAI 发布 GPT-6.1 Sol，以每百万 token 2/10 美元的低价主打性价比，在 Agent Arena 排名第五；Anthropic 的 Sonnet 5.5 首发即位列第三并拿下 Chat 类别第一，使 Anthropic 占据 Agent Arena 前三。此外，l
正文结构化主题已通过公开置信门槛
GLM-5.3-Flash-Uncensored 的 imatrix GGUF 量化发布
Hugging Face 用户 BoldingBuilds 发布了 GLM-5.3-Flash-Uncensored 模型的 imatrix GGUF 量化版本，基于 OrcaRouter 的去审查 FP8 模型构建，为 320B 总参数/18B 激活的 MoE 架构，支持 1M 上下文。作者因 IQ2 S 量化版本出现循环和输出不连贯问题而重建了多个量化版
正文结构化主题已通过公开置信门槛
PydanticAI v2.54.0 发布：兼容性调整与新功能
PydanticAI 发布 v2.54.0，包含多项兼容性调整、新功能和错误修复。兼容性方面处理了 JSON Schema draft-7 列表形式 items、FallbackModel 下的 ImageGeneration、持久执行引擎绑定限制等。新功能包括 clai2 主题化文件差异、/update 自动安装最新构建、OpenAILiveModel 会
正文结构化主题已通过公开置信门槛
Jev估值100亿美元，创始人Diogo Almeida谈可靠性优先
TypeSafe AI联合创始人兼CEO Diogo Almeida在Latent Space访谈中介绍其System-One决策模型Jev，称其日处理量突破一万亿token，并在第三方JevBench v1.2.1综合榜以75.3分排名第一。他批评公开benchmark易被操纵、行业过度追求速度与成本而忽视可靠性，并提出五年内拉动全要素生产率（TFP）增长
正文结构化主题已通过公开置信门槛
llama.cpp b11368：为 draft 与 MTP 推测解码加入概率采样
llama.cpp 发布 b11368 版本，为简单 draft 与 MTP 推测解码引入概率采样，使 drafter 采用概率采样、target 通过拒绝采样进行验证。该改动在语法约束请求下回退到 argmax 采样，并新增默认关闭（greedy）的开关以启用概率 draft 采样，同时修复了 draft sampler 与 target 共享 rng 流
正文结构化主题已通过公开置信门槛
llama.cpp b11365 修复 soft max back 别名输出错误
llama.cpp 发布 b11365 版本，修复了 ggml-cpu 后端中 GGML OP SOFT MAX BACK 算子在 dst 与 src1 别名（aliasing）时输出错误的问题。原实现分多步计算，当 dst 覆盖 y 后第三步会读取被覆盖的值导致静默错误；新实现改为单个融合循环，先读取两个源再写入，兼容两种别名情况，并新增回归测试强制触发别
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11364：支持 nimble decision model
llama.cpp 发布 b11364 版本，主要变更为模型层面支持 nimble decision model（PR #29844）。该版本同时提供 macOS/iOS、Linux、Android、Windows 及 openEuler 等多平台预编译二进制，覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
正文结构化主题已通过公开置信门槛
llama.cpp b11362：Metal 新增 F16 KV 张量 flash attention 内核
llama.cpp 发布 b11362 版本，主要更新是在 Metal 后端为 F16 KV 缓存新增了基于 tensor API 的 flash attention 内核。该内核还扩展支持 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等维度，并加入 attention sinks、ALiBi 和 logit softcap
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11352：优化 qwen4exp 与 GLM5-next 的 mask 构造
llama.cpp 发布 b11352 版本，主要变更是优化 qwen4exp 的 mask 构造，并将相同改动应用到 GLM5-next。该版本同时提供 macOS、Linux、Windows、Android 等多平台多后端的预编译二进制包。
正文结构化主题已通过公开置信门槛
Boson AI 发布 Higgs Audio V2 音频分词器
Boson AI 在 Hugging Face 发布 Higgs Audio V2 Tokenizer，一种以 25 帧/秒运行、在 24 kHz 数据上统一训练语音、音乐和声音事件的离散音频分词器。该模型采用非扩散编码器/解码器实现快速批量推理，并在声学、语义和美学指标上取得均衡表现，已原生支持 transformers。
正文结构化主题已通过公开置信门槛
Cloudflare 发布 Clef 决策模型，称 AI 智能体无需人类介入
Cloudflare 发布了两款面向 AI 智能体的决策模型 Clef 和 Clef-flash，直接对标 TypeSafe AI 的 Jev。这两款模型不生成文本，而是对预定义答案选项分配概率，供下游系统自动执行路由、升级或转人工等操作。Cloudflare 称 Clef-flash 中位响应时间约 39 毫秒、Clef 约 209 毫秒，均快于 Jev