FLUX.2-klein-9B 的 Nunchaku 量化版本发布
Hugging Face 用户 tonera 发布了 FLUX.2-klein-9B 的 SVDQuant/Nunchaku 量化版本,基于 black-forest-labs 的官方全精度模型进行 int4/fp4 量化。在 RTX 5090 上,量化后配合 CPU offload 可将图像编辑峰值显存从 20.18GB 降至 7.52GB,吞吐量提升约
技术方向 · 开源模型、框架与仓库动态:权重开放、社区项目、开源与闭源的力量对比 · 共 2103 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
Hugging Face 用户 tonera 发布了 FLUX.2-klein-9B 的 SVDQuant/Nunchaku 量化版本,基于 black-forest-labs 的官方全精度模型进行 int4/fp4 量化。在 RTX 5090 上,量化后配合 CPU offload 可将图像编辑峰值显存从 20.18GB 降至 7.52GB,吞吐量提升约
llama.cpp 发布 b12142 版本,修复了 Vulkan 后端在 Flash Attention 反量化路径中未检查 K+V 合并 f16 scratch 大小的问题(对应 issue #30048)。该版本同时提供 macOS、Linux、Windows、Android 等多平台、多后端(CUDA、Vulkan、ROCm、SYCL、OpenVIN
llama.cpp 发布 b12141 版本,核心改动是 llama-server 的检查点机制改用引用计数(shared ptr)替代深拷贝,以降低开销,并基于 #26004 的槽位保存/恢复逻辑适配到共享指针检查点列表与 common state data 缓冲区。该版本同时提供 macOS、Linux、Windows、Android 等多平台多后端(C
Abliterant 在 Hugging Face 发布了 Qwen3.8-27B-RANA-abliterated-GGUF,这是对 Qwen/Qwen3.8-27B 进行拒绝方向消融(refusal ablation)后的 27B 视觉语言模型的 GGUF 量化版本,面向 llama.cpp 及兼容应用。仓库提供从 Q8 0 到 IQ2 M 共 15 种
llama.cpp 发布 b12140 版本,为 ggml 的 YaRN 位置编码实现新增 truncate=false 支持,即不再将频率插值切换的修正区间边界取整。该改动覆盖 CPU 与 CUDA 后端并补充了测试,同时将 RoPE 辅助函数移入内部头文件。此举使 llama.cpp 能正确支持使用 truncate=false 的模型,如 gpt-os
CCORE 基于 Qwen/Qwen3.5-4B 微调发布专用 4B 代码模型 CCORE GLB-3D-Coder,可将文本提示生成完整的 Three.js HTML/JavaScript 页面,并支持导出 GLB 资产用于 Godot 等编辑器。该模型以 Apache 2.0 许可发布,提供 Q4 K M、Q8 0 及原始 Safetensors 权重,
huihui-ai 在 Hugging Face 发布了 Huihui-DeepSeek-V4.1-Flash-1017-abliterated-GGUF,这是基于 deepseek-ai/DeepSeek-V4.1-Flash-1017 的「去审查」版本,通过 llama.cpp 的 cvector-generator 对 GGUF 模型做 abliter
LiteLLM 发布 v1.108.1 版本,该版本属于 1.108 LTS 分支,包含 21 项主分支修复的 backport 及 2 项前置改动。发布说明强调所有 Docker 镜像均使用 cosign 签名,并提供基于固定 commit hash 和 release tag 两种验证方式。此外,该版本还修复了 passthrough 场景下选择代理级凭
llama.cpp 发布 b12137 版本,主要修复了 server 端对非对象(non-object)实时会话更新的处理问题,避免畸形请求触发未捕获异常导致服务器终止。该补丁由 Hugging Face 的 Adrien Gallouët 提交,同时该版本照例提供 macOS、Linux、Windows、Android 等多平台多后端的预编译二进制包。
llama.cpp 发布 b12136 版本,修复了 fit 功能在设置 n gpu layers 时未计入被跳过的 NextN 层的问题。此前在无 MTP 情况下,fit 统计 n layer+1 层而加载器统计 n layer all+1 层,导致全量卸载后仍有层(如 Qwen3.8-27B 双 GPU 上显示 65/66 层)留在 CPU。该修复将跳过
llama.cpp 发布 b12135 版本,主要变更为 WebGPU 后端新增 MEAN 算子支持(PR #31591,由 Codex 辅助完成)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译包,涵盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。此次
llama.cpp 发布 b12132 版本,主要变更是 common 模块移除 u8path() 并改用 generic string(),由 Hugging Face 的 Adrien Gallouët 提交。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL
AgentionAI 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 Gyro-Coder GGUF 量化版本,通过每层仅保留 512 个专家中与编程相关的 256 个,并用自研 trellis 编码器实现 2.125 bits/weight,使 125B 参数的 MoE 编码模型可在单张 24GB 显卡(19.92 GiB 权
agentionai 在 Hugging Face 发布了基于 huihui-ai 去审查(abliterated)版 Qwen3.8-Flash-Next 的 GGUF 量化模型,提供 Gyro-S、Gyro-M、Gyro-L 三种尺寸,分别面向 32GB 显卡、48GB 显存/64GB 统一内存和 64GB 统一内存设备。该模型采用 trellis 量化
llama.cpp 发布 b12131 版本,主要变更是 server 模块移除 u8path() 并改用 generic string(),由 Hugging Face 的 Adrien Gallouët 提交(#31682)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、R
OpenAI 发布面向网络安全的新模型 ChatGPT Cyber,向 Daybreak Red 计划最高层级用户开放,用于漏洞挖掘与开发。此前该模型被用于扫描 Linux 内核并发现 948 个潜在问题、在 Firefox 中发现 81 个新型漏洞;开发者 Max Justicz 借助 GPT 5.6 Sol 发现 Ubuntu 服务器严重漏洞并已获 De
另有 1 家信源报道
llama.cpp 发布 b12129 版本,主要变更是重新启用 AMD 专有驱动 26.10.1 及以上版本上的大型 coopmat matmul 配置(PR #31587)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译包,包含 CUDA、Vulkan、ROCm、SYCL、Ope
DeepBeepMeep 在 Hugging Face 上发布了 Wan2.1 视频生成模型的单文件版本,基于 Wan-AI/Wan2.1-T2V-1.3B,用于配合其开源项目 WanGP 使用。WanGP 支持 Wan、Hunyuan Video、Flux 1 & 2、Qwen、Z-Image 和 LTV 等视频生成模型,主打低显存需求(最低 6GB 即可
Fastino 在 Hugging Face 发布 GLiNER2.5 Base(fastino/gliner2.5-base-v1),这是一个 194M 参数、基于 DeBERTa-v3-base 的英文信息抽取模型,采用边界架构,可在单一 schema 下完成命名实体识别、文本分类、结构化记录抽取、关系抽取与跨度属性打分。模型以 Apache-2.0 许
百度发布开源基础模型 ERNIE-5.5-Flash-Base,采用混合专家架构,总参数 2800 亿、每输入激活 140 亿,预训练使用 33.5 万亿 token,训练上下文最高 128K,微调与推理时可支持最高 100 万 token 上下文。该模型刻意不做微调或后训练,由开发者自行决定后续方向,后训练版本后续推出。百度称其在推理、代码和长上下文基准上