llama.cpp b12257:CUDA 图与流状态移出 common.cuh
llama.cpp 发布 b12257 版本,主要改动是将 CUDA 后端中的 ggml cuda graph、ggml cuda concurrent event 和 ggml cuda stream context 从 common.cuh 移至 graph.cuh,并在 common.cuh 中仅保留前向声明,从而避免这些结构变更触发所有 CUDA 编
公司与模型 · 英伟达的 AI 芯片与生态动态:GPU 新品、CUDA 生态、机器人平台与 AI 算力供给
关联由结构化实体与正文位置共同判定 · 最近刷新 2026-11-11 06:27
llama.cpp 发布 b12257 版本,主要改动是将 CUDA 后端中的 ggml cuda graph、ggml cuda concurrent event 和 ggml cuda stream context 从 common.cuh 移至 graph.cuh,并在 common.cuh 中仅保留前向声明,从而避免这些结构变更触发所有 CUDA 编
Anthropic在更新后的IPO文件中宣布,拟以每股70至78美元发行8.25亿股A类股,募资577.5亿至643.5亿美元,按区间上限计算完全稀释估值达1.404万亿美元。公司还同意按IPO价格向AMD、博通、谷歌、美光、微软、英伟达和台积电私募配售260亿美元无投票权N类股,其中谷歌和英伟达各投100亿美元。Anthropic预计净募资846亿至937
Anthropic 启动纳斯达克 IPO 路演,拟以每股 70 至 78 美元发行 8.25 亿股 A 类普通股,并通过公开募股与 260 亿美元私募配售合计筹集至多 904 亿美元,目标估值最高 1.02 万亿美元。公司第三季度营收环比增长 47% 至近 170 亿美元,净亏损收窄,但增速较上季度放缓。IPO 面临约 9000 亿美元算力承诺带来的成本压力
另有 1 家信源报道
《The Verge》报道称,英伟达CEO黄仁勋与新加坡云服务商Megaspeed高管Alice Huang(据称是中国情报资产)存在婚外情,引发美国官员对其是否影响对华芯片出口政策的担忧。黄仁勋此前一直游说特朗普政府放宽对华先进芯片出口限制,2025年7月与特朗普会面后,英伟达H20芯片获准对华销售,12月进一步允许向“获批客户”出售并由美国政府抽取25%
另有 1 家信源报道
特朗普在白宫记者会上被追问何时得知英伟达CEO黄仁勋与疑似中国间谍Alice Huang的关系,他未给出明确时间,仅称"不久前"听说,并称黄仁勋今日向他表示对该女子是间谍"毫不知情"。此前《纽约时报》报道特朗普约一年前已听取相关情报简报,国务卿鲁比奥也曾参与起草相关备忘录。特朗普表示相信黄仁勋是"非常可敬的人",不会在下周与中国领导人会面时主动提及此事。
Google 在第八代 AI 加速器阵容中新增 TPU 8tx 和 TPU 8i Max 两款系统,前者面向机密计算,可在处理过程中保持数据加密;后者通过单封装双芯片将同一机架内的算力、内存和内存带宽翻倍。两款产品均基于现有芯片,仅改变封装、网络和内存配置,使 Google 一年内首次交付四款 TPU 系统。Google 还开源 TorchTPU 并支持 v
英伟达董事会宣布对CEO黄仁勋展开独立调查,起因是黄仁勋向员工承认对妻子不忠,而事件对象Megaspeed高管Alice Huang被美国官员怀疑为中国间谍。耶鲁教授Jeffrey Sonnenfeld评估黄仁勋留任几率约为五五开,认为其判断力严重失误,但若能证明自己是被蒙骗,或可凭借长期积累的声望信用渡过危机。由于英伟达处于AI芯片供应与循环融资网络的核心
另有 1 家信源报道
llama.cpp 发布 b12208 版本,主要更新 ggml 的 CUDA/Metal radix Top-K 实现,使阈值处并列候选的选择结果确定化,输出在不同运行间字节一致。Metal 端用 simdgroup 扫描替代原子计数器压缩,在 M5 Ultra 上 top-k 耗时降低约 20-45%,并启用 Metal 与 ROCm 的确定性自检。
据多家媒体报道,一份基于美国情报的备忘录声称,新加坡公司Megaspeed的高管Alice Huang被中国国家安全部招募,用于监视英伟达CEO黄仁勋。英伟达发言人回应称黄仁勋与Alice Huang的互动“并无异常”,公司不会与客户分享机密信息。另有报道调查了获准购买英伟达先进芯片的中国公司New Matrix,发现其登记办公地址只是空壳,引发对其可能为黑
llama.cpp 发布 b12185 版本,主要修复了 CUDA 后端中 lightning indexer 的共享内存 bank conflicts 问题(PR #31803)。同时该版本提供了覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,涵盖 CUDA 12/13、Vulkan、R
据《纽约时报》报道,中国国家安全部招募了 Megaspeed 高管 Alice Huang,目的是收集美国 AI 芯片情报,并可能影响英伟达向中国提供最先进芯片。Alice Huang 与英伟达 CEO 黄仁勋关系密切,且与技嘉等芯片行业高层有联系。美国众议院三个委员会已要求黄仁勋就此事参加闭门简报。
AWS 宣布 SageMaker Inference 支持基于 NVIDIA MIG 的 GPU 分区,可将单块物理 GPU 划分为最多七个硬件隔离分区,每个分区拥有独立的计算单元与显存。该能力建立在 inference components 之上,允许在单个端点上部署比 GPU 数量更多的模型,并避免冷启动与相互干扰。Salesforce 参与了需求定义与
llama.cpp 发布 b12167 版本,主要修复了 CUDA 后端在 Maxwell 架构 GPU 上的构建问题(#31787)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制,涵盖 CUDA 12/13、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更
llama.cpp 发布 b12144 版本,主要变更是 CUDA 后端针对 MMQ/MMF 将 MoE 数据布局线性化,并更广泛地应用 MMQ tile size 优化,同时修复了 F16 性能回退问题。该版本同步提供 macOS、Linux、Windows、Android 等多平台及 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端预
Box 在其开发者大会上发布 Box Content Retrieval 功能,将 Nvidia 的 Nemotron 嵌入系统集成到产品核心,让 AI 代理基于嵌入元数据更高效地回答查询。Nvidia 生成式 AI 软件副总裁 Kari Briski 称查询速度可提升 4 倍、错误减少 20%、token 用量减少 90%。该功能将于明年初向 Box En
llama.cpp 发布 b12122 版本,核心变更是 CUDA 后端在 MMQ 中融合 NVFP4 的 gate/up 矩阵乘法与 GLU 激活,并遵循请求的 src1 精度、共享 NVFP4 scale 检查、跳过未使用的融合 FP4 kernel。同时补充了 W4A8 无 scale 及带 batch 的 NVFP4 融合 MMQ 测试。该版本同步提
Ollama 发布 v0.40.15 版本,包含两项改动:在 Linux 上以进程内方式加载随包附带的 CUDA 库(由 @dhiltgen 提交,PR #19433),以及新增 MiMo V2.6 模型支持(PR #19400)。该版本属于常规迭代更新,主要提升 Linux 下 GPU 库加载方式并扩展可运行模型范围。
llama.cpp 发布 b12081 版本,主要包含一项 CUDA 后端修复:针对 Q8 1 量化校正求和(correction sum)的潜在问题,并同步调整了 quantize mmq q8 1 的流程。该修复由社区贡献者与 NVIDIA 工程师共同评审完成,同时该版本照例提供 macOS、Linux、Windows、Android 等多平台预编译包。
llama.cpp 发布 b12079 版本,新增基于 NCCL 的多节点张量并行支持。该改动为跨进程 rank 的集合通信添加了后端接口,并在 CUDA 后端用 NCCL 实现,在可用时接入 RPC 服务器;同时重构了通信接口,并为 DGX Spark 将 ncclConfig t 的 maxCTAs 设为 8。此次更新让 llama.cpp 可在多机多卡
旧金山AI推理初创公司Fal完成13亿美元融资,由Bessemer Venture Partners领投,英伟达、Sound Ventures和T. Rowe Price参投,估值达160亿美元,较4月的80亿美元翻倍。公司同时宣布E轮和F轮合计融资16.5亿美元(E轮由红杉领投)。在开源模型推理需求激增的背景下,Fal年化收入已超8亿美元,但推理服务商普遍