llama.cpp b11065:为 Gemma 4 调优 CUDA Flash Attention
llama.cpp 发布 b11065 版本,主要变更为针对 Gemma 4 在 Ampere 及更新架构 GPU 上调整 Flash Attention(FA)的 CUDA 实现(PR #29152)。该版本同时提供覆盖 macOS/iOS、Linux、Windows、Android 及 openEuler 的多平台预编译二进制包,支持 CUDA、Vulk
产业与政策 · 加速卡、算力供给与硬件供应链 · 共 625 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
llama.cpp 发布 b11065 版本,主要变更为针对 Gemma 4 在 Ampere 及更新架构 GPU 上调整 Flash Attention(FA)的 CUDA 实现(PR #29152)。该版本同时提供覆盖 macOS/iOS、Linux、Windows、Android 及 openEuler 的多平台预编译二进制包,支持 CUDA、Vulk
AI基础设施企业硅基流动(SiliconFlow)宣布完成B+轮二期和C轮融资,投资方包括中国互联网投资基金、国新基金、中国移动链长基金等,2026年度累计融资金额近29亿元。融资将用于推理引擎、异构算力调度、模型与芯片适配等核心技术研发,强化Token供应平台能力并加快全球市场拓展。该公司成立于2023年,按2025年Token年吞吐量计是中国最大的独立生
llama.cpp 发布 b11064 版本,主要修复 Metal 后端 dsv4 hc pre 算子的问题:此前该算子通过 constexpr 将 hc 硬编码为 4,导致其他 hc 值被 supports op 拒绝并回退到 CPU。本次改动将 n hc 作为函数常量(FC DSV4 HC)传入,并为不同 n hc 生成流水线变体,同时新增 hc = 1
llama.cpp 发布 b11062 版本,主要变更是为 qwen4 在 CUDA 后端启用稀疏 flash attention(sparse fa),对应 PR #28770。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制,包含 CUDA 12/13、Vulkan、ROCm
llama.cpp 发布 b11055 版本,主要变更为在 hexagon 后端新增对 GEGLU QUICK 的支持(PR #29114)。该版本同时提供 macOS/iOS、Linux、Android、Windows 及 openEuler 等多平台预编译二进制,覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
据路透社报道,三位知情人士透露中国DRAM头部厂商长鑫存储正准备进入NAND闪存市场,计划在北京新工厂建立NAND研发生产线并设立研究院,将与三星、SK海力士、美光等全球存储龙头竞争。此举背景是全球内存芯片持续短缺,AI服务器需求爆发推动行业进入紧缺周期,主要厂商资本支出优先投向DRAM和HBM,限制了NAND产能扩张。长鑫已与客户讨论NAND计划,包括一家
llama.cpp 发布 b11050 版本,主要修复了 Metal 后端 Flash Attention 支持检查的问题(#29122)。该版本同步提供 macOS/iOS、Linux、Android、Windows 及 openEuler 等多平台预编译二进制包,覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
llama.cpp 发布 b11048 版本,在 Metal 后端新增对 qwen4exp 所用 DSV4 HC 算子变体的支持,包括带逐元素 sigmoid 门控的 hc pre 以及使用恒等混合(comb 为 nullptr)的 hc post。该更新随版本一同提供 macOS、Linux、Windows、Android 等多平台预编译包。
llama.cpp 发布 b11047 版本,修复了 CUDA 后端中 CUB argsort 因原地键缓冲区导致的排序损坏问题。原实现将 d keys in 与 d keys out 指向同一缓冲区,违反 CUB 双缓冲要求,导致排序结果错乱并引发下游 get rows 越界读取。修复方案是在全部六个调用点使用独立的 keys-out 缓冲区,并同步提供各
AWS 回顾了 Amazon SageMaker Inference 在 2026 年迄今发布的 13 项新能力,覆盖托管端点与 HyperPod Inference 两条部署路径。托管端点新增推理推荐与基准测试、容量感知实例池、OpenAI 兼容 API、容器缓存、可观测性、异步推理内联负载和前缀感知路由等七项功能。这些能力旨在降低生成式 AI 推理的部署
AWS 发布 Amazon SageMaker HyperPod Inference Gateway,这是一个以 EKS 托管插件形式部署的 Kubernetes 原生、GPU 感知推理路由系统。它通过 Envoy Gateway、Body-Based Router 和 Endpoint Picker 三层组件,利用 KV 缓存利用率、队列深度、LoRA 适
消费级外骨骼公司极壳(Hypershell)在柏林IFA发布髋膝一体、四电机的Halo,创始版预售价15999元,预计2026年11月发货,并称其为行业首创髋膝一体化架构。文章指出,大疆背景的亦方创新早在4月已众筹同类四关节产品Vastnaut One,两家公司在产品、资本、人才与话语权上正面交锋。极壳正以10亿美元估值推进新一轮融资,但早期产品良品率约46
雷峰网·鲸犀获悉,OpenAI 正在深圳秘密试制一款无屏 AI 硬件产品,保密程度极高,工程师来深圳出差连手机都没带。该产品计划于 2027 年上市。
数据中心开发商 Crusoe 完成 39 亿美元 F 轮融资,估值升至 309 亿美元,由 Atreides Management、Mubadala Capital 和 Valor Equity Partners 联合领投,英伟达、Founders Fund、GIC、QIA、TPG 等参投。资金将用于现有数据中心项目(包括得州 Abilene 为 OpenA
安芯724(柒贰肆安芯技术服务有限公司)于2026年9月16日在北京昌平未来星科能源谷智造产业园举行北京基地投产活动暨品牌发布会,宣布北京基地正式投产。该基地总面积约6000平方米,其中实验室及产线约3000平方米,配备BGA芯片级维修、X-Ray检测、老化测试等设备,可提供GPU及AI算力服务器的检测、维修、测试、维保与性能优化服务。公司定位为高端AI算力
AWS Machine Learning Blog 发布技术文章,介绍如何在 Amazon EKS 上结合 NVIDIA Resiliency Extension (NVRx) 实现容错的 PyTorch FSDP 分布式训练。方案通过异步检查点、进程内重启和 ft launcher 作业内重启三层机制,分别应对软故障、硬故障和节点丢失,并在 H100 GP
NVIDIA 团队开发了一个 AI agent 技能,将 TileGym 中的 CUDA Tile Python 和 Triton-TileIR 内核翻译为 cuTile Rust。他们用该技能移植了全部 24 个公开 TileGym 算子(约 40 个 GPU 内核),平均达到 cuTile Python 性能的 99.5%。该多智能体流水线包含分析、设备
Syensqo首席技术与创新官Mike Finelli在MIT Technology Review的Business Lab节目中表示,AI发展正把半导体和数据中心推向物理极限,对先进材料在耐高温、纯度、电气性能、散热等方面提出更高要求。Syensqo正为高压数据中心架构、半导体制造密封材料及浸没式冷却液等开发材料,并利用AI智能体数字化合成数百万种分子组合
llama.cpp 发布 b10997 版本,主要改动是扩展 HIP 后端在 RDNA3.5 架构上的 MoE ncols opt tile 启发式规则,将条件从 GGML CUDA CC IS RDNA3 0 改为 GGML CUDA CC IS RDNA3,代码位于 ggml/src/ggml-cuda/mmq.cu,dense 调度逻辑不变。在 AMD
llama.cpp 发布 b10995 版本,主要变更是让 Vulkan 后端的 MUL MAT ID BN/2 尾部分支变为无条件启用,将 BN/2 设为默认并作为 BNover4 的禁用回退,同时移除该分支的启用门控;BN/4 分支仍由 enable smaller matrices 控制。该版本同时提供 macOS、Linux、Windows、Andr