llama.cpp b12129:AMD 驱动重新启用大型 coopmat matmul
llama.cpp 发布 b12129 版本,主要变更是重新启用 AMD 专有驱动 26.10.1 及以上版本上的大型 coopmat matmul 配置(PR #31587)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译包,包含 CUDA、Vulkan、ROCm、SYCL、Ope
技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3292 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
llama.cpp 发布 b12129 版本,主要变更是重新启用 AMD 专有驱动 26.10.1 及以上版本上的大型 coopmat matmul 配置(PR #31587)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译包,包含 CUDA、Vulkan、ROCm、SYCL、Ope
DeepBeepMeep 在 Hugging Face 上发布了 Wan2.1 视频生成模型的单文件版本,基于 Wan-AI/Wan2.1-T2V-1.3B,用于配合其开源项目 WanGP 使用。WanGP 支持 Wan、Hunyuan Video、Flux 1 & 2、Qwen、Z-Image 和 LTV 等视频生成模型,主打低显存需求(最低 6GB 即可
Langfuse 发布 v4.76.0 版本,新增按时间排序的会话列表视图、在 trace 预览中增加会话标签页,并将 Topics 摘要、分配与规则接入公共 API、MCP 和应用内 agent。该版本还让自托管 Docker Compose 内置 AI Gateway,并加入审计日志读取事件记录、提示词解析性能优化及多项修复。这些更新提升了 Langfu
英特尔在第九届进博会上联合生态伙伴展示覆盖数据中心、网络边缘及智能终端的计算产品,包括基于Intel 18A制程的第三代酷睿Ultra、至强6+处理器、词元一体机及绿电储能算力一体化方案。英特尔中国区董事长王稚聪表示将深化与中国产业伙伴协作,推动智能体时代绿色算力落地。此举意在强化端边云协同布局并降低企业AI部署门槛。
百度发布开源基础模型 ERNIE-5.5-Flash-Base,采用混合专家架构,总参数 2800 亿、每输入激活 140 亿,预训练使用 33.5 万亿 token,训练上下文最高 128K,微调与推理时可支持最高 100 万 token 上下文。该模型刻意不做微调或后训练,由开发者自行决定后续方向,后训练版本后续推出。百度称其在推理、代码和长上下文基准上
阿里 FunASR 发布 v1.4.22 版本,主要修复运行时问题:ContextualParaformer 和 SeacoParaformer 的批处理解码、ONNX 与 Torch 热词批处理修复(分别发布 0.4.7 和 0.1.5)、generate() 的 merge length s 参数处理、VAD 离线动态静音调度按帧应用,以及 CMVN 文
Google DeepMind 发布 Gemini Omni 1.2 Flash,并在 Gemini API 和 Gemini for business 中全面开放。新版本支持原生 15 秒视频生成、多轮对话式编辑和更强的参考一致性,720p 视频价格较 1.1 版下降 30% 至每秒 0.07 美元。该模型面向企业、开发者和创作者的大规模视频生产,输出带
另有 1 家信源报道
NVIDIA 在技术博客中介绍其 AI 工厂的协同设计方法,通过 NVFP4 低精度格式、宽专家并行(Wide-EP)、KV 缓存复用与 Dynamo 分布式服务等手段,提升每字节内存的有效利用率。文章称在 SemiAnalysis AgentX 基准上,Vera Rubin NVL72 在每用户 160 tokens/s 下每兆瓦吞吐量可达 GB300 N
Google Cloud 宣布 API Gateway 的流式支持进入公开预览,将传统请求-响应模型扩展至实时通信场景,尤其面向流式模型响应、多步 Agent 工作流和交互式会话等 AI 应用。新功能让流式端点可在保留 API Key 校验、JWT 验证、日志监控等既有网关策略的同时运行,并引入可预测的网关主机名格式。API Gateway 还支持模型路由,
llama.cpp 发布 b12128 版本,主要修复 TOPK MOE 测试因路由边界近似并列导致的 CI 不稳定问题。修复方式改为通过反演门控函数构造 logits,使各后端上的专家与分组决策间隔一个网格步长,避免浮点 ulp 差异引发误判。同时该版本提供 macOS、Linux、Windows、Android 等多平台预编译包,覆盖 CUDA、Vulk
据彭博社报道,苹果上月将部分工程师的每日 AI token 预算从 300 美元下调至 200 美元,并计划进一步削减至每天 100 美元,部分非技术团队甚至低至 25 美元。员工可使用 Anthropic Claude、OpenAI ChatGPT 和 Google Gemini 等服务,部分团队将转向更便宜的模型或本地运行的 AI。此举符合新任 CEO
另有 1 家信源报道
Box 在其开发者大会上发布 Box Content Retrieval 功能,将 Nvidia 的 Nemotron 嵌入系统集成到产品核心,让 AI 代理基于嵌入元数据更高效地回答查询。Nvidia 生成式 AI 软件副总裁 Kari Briski 称查询速度可提升 4 倍、错误减少 20%、token 用量减少 90%。该功能将于明年初向 Box En
百度于11月5日正式开源基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base),采用MoE架构,总参数2800亿、每Token激活140亿,预训练使用33.5万亿Token,支持最长100万Token上下文。该模型在知识、推理、数学、代码、多语言和长上下文等基准上取得同尺寸模型SOTA,超过DeepSeek-V4-Flash-B
llama.cpp 发布 b12124 版本,主要变更是为 OpenCL 后端增加对非连续(non-contig)sigmoid 的支持(PR #31687,由高通 Li He 参与贡献)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO、Op
llama.cpp 发布 b12123 版本,主要变更为 OpenCL 后端新增 DSV4 HC PRE 与 DSV4 HC POST 支持,并改进 dsv4 hc post 实现,由高通(Qualcomm)工程师参与贡献。该版本同时提供 macOS、Linux、Windows、Android 等多平台多后端(CUDA、Vulkan、ROCm、SYCL、Op
llama.cpp 发布 b12122 版本,核心变更是 CUDA 后端在 MMQ 中融合 NVFP4 的 gate/up 矩阵乘法与 GLU 激活,并遵循请求的 src1 精度、共享 NVFP4 scale 检查、跳过未使用的融合 FP4 kernel。同时补充了 W4A8 无 scale 及带 batch 的 NVFP4 融合 MMQ 测试。该版本同步提
Hugging Face 的 litert-community 发布了 Gemma 4 12B 的 LiteRT-LM 量化版本,基于 google/gemma-4-12B-it 转换而来,支持 macOS、Linux、Windows 及有限度的 Web 部署。该 .litertlm 文件支持文本、视觉和音频多模态输入,并具备多 Token 预测(MTP)以
Hugging Face 上发布了 litert-community/gemma-4-26B-A4B-it-litert-lm,这是 Google Gemma 4 26B(A4B)混合专家模型的 LiteRT-LM 量化版本,采用 QAT 的 blockwise int4 权重与 float 激活,面向 Web 和桌面端本地部署。该版本目前仅支持文本,音频、
上海交通大学副教授邓志杰在CNCC 2026上系统梳理了扩散语言模型在保证生成质量的同时提升生成速度的方法,涵盖LLaDA、Dream等基础路线,以及跨块并行生成(D2F、MultiBD)、后训练(CForce、LightningRL)和推理系统优化(Fast-dLLM、LoPA)。他提出应结合每轮提交token数(TPF)与每轮耗时(TPS)及正确率来评价
Hugging Face 用户 Jmica 发布了 Drama-3-GGUF 仓库的 V2 版本,将 Fish Audio 的 drama-3 文本转语音模型(含 MoE 架构与声音克隆能力)量化为 6 种 GGUF 精度配置,供 audio.cpp 的 fish drama3 原生后端运行。V2 基于 2026 年 10 月 29 日的替换检查点,保留完整