llama.cpp b12027:为 LFM3 启用张量切分
llama.cpp 发布 b12027 版本,主要变更为 LFM3 启用 tensor split(张量切分),该改动由 Claude Opus 5.5 辅助完成。发布包覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 等多平台,包含 CUDA、Vulkan、ROCm、SYCL、OpenVINO、Snapdrago
技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3295 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
llama.cpp 发布 b12027 版本,主要变更为 LFM3 启用 tensor split(张量切分),该改动由 Claude Opus 5.5 辅助完成。发布包覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 等多平台,包含 CUDA、Vulkan、ROCm、SYCL、OpenVINO、Snapdrago
Hugging Face 上出现了一个名为 Esobold/EsoTest GGUFs 的模型仓库,属于 FM nearswap 系列。该仓库包含 GhostShip-31b-Q4 K M.gguf 文件,描述了一种 nearswap 合并方法:将 Gemma4-Gutenberg-31B-Heretic 与 gemma-4-31B-it-scotoma-2
ggml-org 在 Hugging Face 发布了 gemma-4-12B-it-GGUF,这是对 Google gemma-4-12B-it 的 GGUF 量化版本,采用 Apache-2.0 许可,支持 any-to-any 任务。该模型可通过 Llama 应用或命令行 llama serve 直接运行,页面说明其由 ggml-org/convert
Hugging Face 用户 FINAL-Bench 发布了 POCKET-26B-GGUF,这是一个基于 google/gemma-4-26B-A4B-it 的 GGUF 量化模型,采用 Apache-2.0 许可,面向韩语对话场景,主打端侧与移动端本地推理。该模型可在 Ollama、LM Studio、PocketPal 等现有 llama.cpp 运
FINAL-Bench 在 Hugging Face 发布了 POCKET-Darwin-180B-GGUF,这是对 Darwin-180B-RSI-R3 进行 4-bit GGUF 量化后的版本,约 111GB,基于 Qwen 社区许可。该模型主打端侧与本地部署,可在 8GB 显存加 32GB 内存的笔记本、纯 CPU 迷你主机以及 NVIDIA DGX
阿里 FunASR 发布 v1.4.19,修复了 Paraformer 在无 token 预测时每句保留一个结果、流式 Paraformer 在 chunk size[0] 为 0 时保留无左上下文帧、ONNX 空 split-final 结果处理、自动说话人数量上限可配置、实时模式转发 vLLM HF 覆盖参数等问题,并同步提供配套 llama.cpp/G
cyankiwi 在 Hugging Face 发布了 Qwen3-Omni-30B-A3B-Instruct 的 AWQ 4bit 量化版本,基于 llm-compressor 工具并使用 nvidia/Llama-Nemotron-Post-Training-Dataset 进行校准,模型体积约 27.55 GB。该模型继承 Qwen3-Omni 原生端
DeepNarra 在 Hugging Face 发布实验性模型 Paham-Experimental,采用三层「清醒-睡眠」持续学习架构:推理时冻结基础 GGUF 权重,仅在前向传播缓冲区更新循环快权重;系统空闲时用 75% 预训练锚点加 25% 实时交互做回放,训练 Sidecar-QLoRA 与 MoE 路由门控,再重新量化为 1.58-bit 三元
cyankiwi 在 Hugging Face 发布了 MiniCPM-SALA 的 AWQ 8bit 量化版本,该版本基于 openbmb/MiniCPM-SALA 量化而来,模型体积约 10.63 GB,采用 Apache-2.0 许可,支持中英文文本生成。原模型 MiniCPM-SALA 是首个融合稀疏注意力与线性注意力的大规模混合模型,面向百万级 t
llama.cpp 发布 b12023 版本,修复了 server 端共享决策前缀的问题(#30710),将共享前缀限制在父任务与各子任务的第一个必需输出位置,从而在问题共享选项 token 时保证最终 batch 中决策输出 embedding 可用,修复了 #30482。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多
llama.cpp 发布 b12022 版本,主要修复了 server 的 /v1/responses 端点,使其能够接受 extra params 参数。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。此次更新属于常规维护
百度智能云在武汉超级智能体大会上推出AI Infra与Agent Infra双层基础设施,面向企业智能体落地提供沙箱、计算、网络、存储、可观测和安全等能力,并发布百舸AI计算平台6.0。百度副总裁石清华称百度搭子月活已达千万级,杭州松鲜鲜、武汉硚口基层治理等案例显示智能体已进入企业业务与治理现场。文章认为智能体规模化运行的核心缺口正从模型转向运行底座,云厂商
DeepSeek Harness团队于10月31日晚开源了Super-agent(超级智能体)的底层架构原型,该架构并非新产品,而是将计算机系统中的调度、缓存、存算分离、看门狗等经典思想引入Agent设计。架构包含双层架构(常驻Router层负责交互与分派、隔离Worker层并发执行)、事件驱动、异步多信道交互、存算分离与外部Watchdog五大模块,目标是
另有 1 家信源报道
阿里 FunASR 发布 v1.4.18,修复本地热词文件加载、过滤特殊 token 后时间戳对齐以及中文 VAD 分块 token 边界保持等问题。该版本同时附带与 runtime-llamacpp-v0.2.6 配套的多平台预编译 llama.cpp/GGUF 运行时包,并完成 137 项发布/运行时契约检查与 52 个回归用例验证。
Hugging Face 用户 Abiray 发布了 DeepSeek-V4.1-Flash-1017 的独立 GGUF 构建,将 86 个 abliterated(去审查)残差写入张量直接烘焙进量化权重,运行时无需 LoRA。该版本基于 ISTA-DASLab 的 GSQ-RCO 量化模型,保留全部 28 层 1-bit IQ1 M 路由专家层,体积仅增加
llama.cpp 发布 b12020 版本,主要变更是为 OpenCL 后端新增 FWHT(快速沃尔什-哈达玛变换)支持,由高通工程师参与贡献。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制,涵盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO、OpenCL A
llama.cpp 发布 b12019 版本,主要修复了 chat 功能:在 reasoning format 设为 none 时,对 qwen3-coder 响应中的 think 块进行剥离处理,并预先定义 qwen3-coder 的两种 think 块变体。该版本同时提供 macOS、Linux、Windows、Android 等多平台及 CUDA、Vu
新芯航途(XHEART)首次公开亮相并发布车规级芯片X7 Ultra,NPU算力700 TOPS,NPU计算利用率达98.7%,量化模型输出与FP32基准相似度超99.99%,内存带宽消耗降低80%、能效提升100%。该芯片与Momenta为姐妹公司关系,首次以Momenta的R7世界模型作为真实量产模型来评测芯片性能,提出“大模型定义芯片”思路。Momen
研究者提出 ThinkJev,一种无需训练、基于单一混合思考模型(如 Qwen3 系列)的级联决策方法:System 1 直接读取选项字母概率作答,仅在统计检验保证错误率低于目标阈值时单独回答;其余决策升级到 System 2,在已缓存的同一提示上继续思考,并可在任意思考预算下读取同一答案槽的概率。在 8359 个测试决策上,Qwen3.5-27B 以 5%
XHToken 在 Hugging Face 发布 Spark-X2.6-4B,这是面向端侧部署的紧凑型通用语言模型,沿用 Spark-X2.5-4B 的架构,仅通过改进后训练来提升能力。官方称其在编码、智能体、长上下文、多语言和推理等任务上明显提升,在同等规模开源模型中达到领先水平,部分基准可匹配或超过约 9B 参数模型,并提供 none、low、high