llama.cpp b11889:CUDA 后端用 std::string 替换 VLA
llama.cpp 发布 b11889 版本,主要变更是 CUDA 后端将 archName 的变长数组(VLA)替换为 std::string,以现代化代码并消除 Clang 的 -Wvla-cxx-extension 警告。该改动由 Hugging Face 的 Adrien Gallouët 提交,属于代码质量与可移植性改进,不涉及功能或性能变化。同时
产业与政策 · 加速卡、算力供给与硬件供应链 · 共 625 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
llama.cpp 发布 b11889 版本,主要变更是 CUDA 后端将 archName 的变长数组(VLA)替换为 std::string,以现代化代码并消除 Clang 的 -Wvla-cxx-extension 警告。该改动由 Hugging Face 的 Adrien Gallouët 提交,属于代码质量与可移植性改进,不涉及功能或性能变化。同时
在2026年北美PyTorch大会上,Google与Meta开源了TorchTPU,为Google TPU提供原生PyTorch后端,取代需要修改源码的PyTorch/XLA,使模型迁移简化为将设备切换为TPU。Meta计划借此把更大规模LLM负载迁移到TPU,vLLM、SGLang、TorchTitan等已原生支持,并展示了超8000芯片的近线性扩展。Go
Google 开源了跨平台 GPU 计算引擎 ML Drift,采用 Apache 2.0 许可,支持 OpenGL ES、OpenCL、Metal 和 WebGPU,用于设备端 AI 推理。它是 LiteRT 的核心 GPU 加速引擎,通过统一着色器、五维张量和硬件特定优化简化多 GPU 硬件适配。Google 称其在 Gemma 模型上内存开销比 lla
llama.cpp 发布 b11877 版本,主要变更为 Vulkan 后端为 conv3d 增加更大的 tile size,该优化仅适用于 coopmat2 且不需要共享内存存储输出的场景,并仅对较新驱动版本生效。同时新增了一些具有代表性的后端测试,据提交说明这些测试由 codex 参考 sd.cpp 的 Wan VAE 生成。该版本还提供了覆盖 macO
llama.cpp 发布 b11876 版本,修复了 Vulkan 后端小矩阵乘法 tile 的 warp tile 划分问题:此前小 tile 的 WM 固定为 32(8 宽子组时为 8),未随 tile 的 BLOCK SIZE 与 WARP 变化,导致 16 宽子组(Mali)时工作组第二个子组写入下一 tile 的列、8 宽子组时部分 id tile
llama.cpp 发布 b11873 版本,为 OpenCL 后端新增 q2 k 量化格式的初步支持,包括 mul mv q2 k f32、SOA mv 与 tiled mm、面向 Adreno 的 noshuffle gemm/gemv 和 dp4a gemm 内核,并针对 Adreno 调优。该改动由高通工程师 Hongqiang Wang 参与贡献,
llama.cpp 发布 b11866 版本,主要变更在 Metal 后端:移除了 kernel mul mm id 中针对 src1 的二次幂重缩放,改由计算图中的 per expert-token amax 缩放替代,从而在算子执行前将 MoE 下投影激活值保持在 f16 范围内。该改动删除了两阶段归约内核、其暂存缓冲区以及此前引入的 GGML PREC
llama.cpp 发布 b11857 版本,核心变更是 ggml 允许 MUL MAT ID 使用 -1 索引来跳过计算,并同步更新了 Vulkan、WebGPU、CUDA、OpenVINO 等后端实现(本 PR 暂排除 CUDA)。该版本同时提供 macOS、Linux、Windows、Android 等多平台多后端的预编译二进制包。
llama.cpp 发布 b11854 版本,核心变更是 Vulkan 后端新增 ggml src1 精度支持(PR #30656),包括更新累加器精度选择、通过缩放处理 fp32 溢出、处理 copy-to-fp16 激活溢出,并新增 ggml 精度获取辅助函数与测试。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台
llama.cpp 发布 b11853 版本,主要修复 HIP 后端在缺少 builtin amdgcn perm 内建函数时的字节置换回退问题。由于 amdgcnspirv 会拒绝未用 builtin amdgcn is invocable 保护的目标特定内建函数,此前 145 个 HIP 文件中有 66 个构建失败。该改动将 perm 调用封装为辅助函数
NVIDIA 在 TensorRT 11.1 中推出 Global Performance Tuner,将编译调度策略表示为可搜索的 build route(编译器 knob 组合),通过构建多个候选引擎并实测端到端性能与精度来选出最优方案。TensorRT 11.1 提供 200 多个可调 knob,trtexec 中给出 C++ 示例实现,Python
苏州AI芯片公司亿铸科技宣布完成超10亿元融资,资金将用于研发投入、产品迭代及产业化推进。该公司以3D DRAM为核心技术路线,首创全数字化通用存算一体架构,产品覆盖算力卡、工作站、一体机到推理集群,并推出兼容CUDA、PyTorch的YICA软件平台。其基于3D DRAM的存算一体AI芯片已完成流片,宣称相较主流云端GPU可实现数倍性能提升、约1/5功耗和
另有 1 家信源报道
硅基流动解决方案总监唐安波在2026秋季央国企CIO峰会上分享,提出「Token生产力=产能×利用率×交付质量」公式,并介绍四层解耦推理架构(模型网关、模型服务平台、高性能推理框架、算力调度)。公司已适配近百款模型,并与华为云、沐曦、摩尔线程等国产芯片合作优化推理性能。案例中某央国企将约50台机器从「租机器」改为Serverless模型服务,模型收敛至约十个
llama.cpp 发布 b11835 版本,主要变更是 SYCL 后端将设备传入 mul mat uses onednn(PR #31014)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新属于开源推理框架的常规构建发布,
亿铸科技完成10亿+元融资,该公司是国内首家通用存算一体架构(GP-IMC®)AI大算力芯片公司。公司坚持“通用存算一体+超异构”技术路线,围绕3D DRAM存算一体布局,产品兼容CUDA、PyTorch等主流生态,面向数据中心、AI云计算等场景。此次融资将用于研发投入、产品迭代及产业化推进。
另有 1 家信源报道
EXL 赞助内容指出,企业 AI 的竞争优势正从模型能力转向围绕模型构建的服务工程系统(serving harness),涵盖架构、内存管理、调度与优化。文章建议技术负责人从工作负载而非模型出发,先测量并定位主要瓶颈再优化,并构建可适应模型与硬件变化的架构,以可靠、经济、可扩展地交付 AI 能力。
llama.cpp 发布 b11827 版本,主要变更是为 OpenCL 后端新增 Adreno GPU 上的 depthwise conv2d 支持,由高通工程师参与贡献。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此举提升了 llam
Modal CEO Erik Bernhardsson 在访谈中介绍,公司在完成 5 亿美元 D 轮融资后估值达 160 亿美元,年化收入突破 10 亿美元,并已启动近 30 亿个沙箱。他解释了 Modal 如何通过聚合数千客户的需求、在底层锁定算力,来应对 GPU 需求随时间波动的问题,并指出传统固定 GPU 合约(即“矩形”合约)与真实负载不匹配。他还提
深圳存算一体AI芯片公司九天睿芯宣布半年内累计完成10亿元融资,由美团战投、小鹏汽车旗下星航资本、长存产业基金等投资,资金将用于HBF与SRAM存算融合芯片研发流片及MPM软件栈建设。该公司以SRAM存算一体和HBF为技术主线,产品覆盖HBF SSD、ADA300系列芯片、ADA400推理板卡及AI推理服务器,并已与vivo、荣耀、联想等建立端侧合作。此举反
NVIDIA 在 GTC Berlin 宣布正式支持八节点 DGX Spark 集群,将统一内存扩展至 1TB,可本地运行前沿级模型,包括 Z.ai 的完整 GLM 5.3(753B)。NVIDIA Sync 的 Cluster Assistant 负责集群设置与设备管理,八节点支持将于年底推出。基准测试显示,八节点集群上 GLM 5.3 Flash 生成速