JiRack Ultra 32B:面向 CPU 的三值量化模型发布
CMSManhattan 在 Hugging Face 发布 JiRack Ultra 32B,一个基于 DeepSeek R1-32B 架构、面向 CPU 推理优化的 32B 模型,采用 BitNet 风格三值(1.58bit)量化并附带 GGUF 量化版本。模型更新了分词器,新增 Routing、Media、Vision、Sound、Tool call、
技术方向 · 开源模型、框架与仓库动态:权重开放、社区项目、开源与闭源的力量对比 · 共 2111 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
CMSManhattan 在 Hugging Face 发布 JiRack Ultra 32B,一个基于 DeepSeek R1-32B 架构、面向 CPU 推理优化的 32B 模型,采用 BitNet 风格三值(1.58bit)量化并附带 GGUF 量化版本。模型更新了分词器,新增 Routing、Media、Vision、Sound、Tool call、
llama.cpp 发布 b11873 版本,为 OpenCL 后端新增 q2 k 量化格式的初步支持,包括 mul mv q2 k f32、SOA mv 与 tiled mm、面向 Adreno 的 noshuffle gemm/gemv 和 dp4a gemm 内核,并针对 Adreno 调优。该改动由高通工程师 Hongqiang Wang 参与贡献,
东方槊(Dongfangshuo)在 Hugging Face 发布 Dongfangshuo-Qwen3.8-27B-NSFW-v2-GGUF,这是其 NSFW 中文长篇小说创作模型的官方 GGUF 量化版本。该模型基于 huihui-ai/Huihui-Qwen3.8-27B-abliterated 深度重训,v2 版本声称根治了长文注意力崩溃与无限复读
ggml-org 在 Hugging Face 发布了 NVIDIA Nemotron-3.5-Super-VL-120B-A12B 的 GGUF 量化版本,该模型基于 NVIDIA 的 BF16 原版转换而来,属于图文到文本(image-text-to-text)多模态模型。用户可通过 Llama 应用或终端命令 llama serve 直接运行。该仓库由
英伟达开源了数据引擎 Flora,用于机器人视频标注。Flora 由三个微调的 Qwen3.5 模型组成,可同时生成动作分段、描述和奖励信号三类标注,据英伟达估算,标注一小时视频成本约 72 美分,而使用 GPT-6 Astra 约需 88.5 美元,最高便宜 125 倍。该系统已用于 GR00T 模型训练,每天可标注多达 20 万小时视频,模型已在 Hug
LiteLLM 发布 v1.106.4 版本,共包含 3 个 PR,其中 2 项为修复。主要修复了代理在无法访问远程模型成本映射时启动可能因 ImportError 退出的问题(该问题自 v1.104.0 引入),并修复了镜像扫描对 brotli 1.2.0、emSign ECC Root CA - G3 及未使用锁文件包的告警。官方表示升级无需额外操作。
LiteLLM 发布 v1.105.5 版本,包含 2 个 PR、修复 2 个问题,用户无需额外操作即可升级。主要修复了代理在无法访问远程模型成本映射时启动报 ImportError 退出的问题(自 v1.104.0 起存在),以及镜像扫描误报 brotli 1.2.0、emSign ECC Root CA - G3 和未使用锁文件包的问题。该版本为回迁补丁
LiteLLM 发布 v1.104.7 补丁版本,包含 2 个 PR、修复 2 个问题,用户无需额外操作即可升级。主要修复了自 v1.104.0 起代理在无法访问远程模型成本映射时可能因 ImportError 启动退出的问题,并修复了镜像扫描对 brotli 1.2.0、emSign ECC Root CA - G3 及未使用锁文件包的告警。该版本同时回移
Hugging Face 用户 IndrasMirror 发布了 DeepSeek-V4.1-Flash-1017 的量化版本 XQ-Uncensored,通过混合精度量化(三值、2-bit、3-bit 及原生 FP4)将 552B 参数的 MoE 模型压缩至约 163 GB,使其能在单张 RTX 4090(24 GB 显存)加 90 GB 内存的消费级 P
Xinference 发布 v4.1.0,新增对 DeepSeek-V4.1-Flash、GLM-5.3、Qwen3.8-Flash-Next、MiniCPM-V-4.7 等模型的支持,并加入 TRT-LLM 后端与 Xavier KV 缓存共享、Anthropic 上下文管理、fastapi-guard 安全中间件等能力。该版本还优化了工具调用流式解析性能
南京大学、商汤等机构的研究者发布开源项目 OpenMobile-2,基于 Qwen3.5(90 亿参数)和 Qwen3.6(270 亿参数)训练出两个手机智能体模型,并公开完整训练环境、数据和复现说明。他们重建了淘宝、京东、滴滴、美团、Slack 等 110 多个模拟应用,生成约 1.16 万个示例工作流,由 Gemini 3.1 Pro 作为教师模型产出训
llama.cpp 发布 b11871 版本,修复了 chat 接口的 JSON 嵌套深度安全问题:schema 构建器、jinja 引擎和决策代码会递归遍历请求 JSON,嵌套过深会导致 HTTP 线程栈溢出,使 llama-server 崩溃(macOS 上 SIGBUS、Linux 上 SIGSEGV)。现在在遍历前先检查深度,超过 128 层直接返回
ggml-org 在 Hugging Face 发布了 Clef-GGUF,这是对 Cloudflare/clef 模型的 GGUF 量化转换版本,采用 Apache-2.0 许可,pipeline 标签为 image-text-to-text。该模型被描述为决策模型,需通过 /v1/systemone API 调用,并依赖 llama.cpp 的 PR #
llama.cpp 发布 b11870 版本,新增对 DeepSeek-V4.1-Flash(deepseek41)模型的支持。该 PR 移除了 MXFP8、将 Engram 表转为 BF16、在缓存中一次性计算压缩 KV 读取层、改为图内 gather Engram 行并排序 top-k 行后再稀疏 gather,同时删除 LLAMA DSV41 KV M
开发者 Jundot 在 Hugging Face 发布了 Qwen3.6-35B-A3B 的 MLX 混合精度量化版本 Qwen3.6-35B-A3B-oQ4e-mtp,使用 oMLX v0.7.3.dev1 的 oQ 方法按层敏感度分配 4/5/6/8 位与 BF16 精度,完整检查点平均约 4.8 bits/weight,总存储约 20.09 GiB。
llama.cpp 发布 b11869 版本,主要修复了 Jinja 模板中 select 与 selectattr 的参数处理问题,并补充了测试用例。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新属于开源推理框架的常规缺陷修复
llama.cpp 发布 b11867 版本,主要变更是重构 server 入口点(#31113),引入 server role 相关改动。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制,包含 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。此次更新属
llama.cpp 发布构建版本 b11865,主要变更是为 RPC 后端的 rdma recv 函数增加边界检查(PR #30399),以提升 RDMA 接收路径的安全性。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
llama.cpp 发布 b11861 版本,修复 minimax-m3 模型在 MoE FFN 构建中未将 NVFP4 的 per-expert scale2 张量及 MXFP8 的 per-tensor scale 转发到计算图的问题。此前 build moe ffn() 默认这些 scale 为 nullptr,导致路由专家权重被放大 global s
llama.cpp 发布构建版本 b11860,主要变更是修复 test-llama-context 在大 n batch 场景下的测试问题(#31083)。该版本同时提供 macOS/iOS、Linux(含 CUDA 12/13、ROCm、Vulkan、SYCL、OpenVINO 等后端)、Android、Windows 及 UI 的多平台预编译包。这是面