llama.cpp b11819 发布:支持 Nemotron 非标准 GQA 与 BPE 分词器
llama.cpp 发布 b11819 版本,新增对 Nemotron 模型的支持,包括非标准 GQA、BPE 分词器以及 domyn-small pre-type。同时,gguf-py 将 Metaspace 的 prepend scheme 写入 GGUF 元数据,词表模块解析该字段并在反分词时使用。该版本同步提供 macOS、Linux、Windows
公司与模型 · 英伟达的 AI 芯片与生态动态:GPU 新品、CUDA 生态、机器人平台与 AI 算力供给
关联由结构化实体与正文位置共同判定 · 最近刷新 2026-11-11 06:27
llama.cpp 发布 b11819 版本,新增对 Nemotron 模型的支持,包括非标准 GQA、BPE 分词器以及 domyn-small pre-type。同时,gguf-py 将 Metaspace 的 prepend scheme 写入 GGUF 元数据,词表模块解析该字段并在反分词时使用。该版本同步提供 macOS、Linux、Windows
Google DeepMind 宣布 SynthID Detector 全球上线,用户可通过 SynthID.com 上传图像、音频或视频,检测来自 OpenAI、NVIDIA、Kakao 等 SynthID 合作伙伴的 AI 生成内容,Apple 支持即将推出。此前用户只能通过 Gemini 检测 Google AI 生成的内容。该工具仅能识别采用 Syn
开源 Java GPU 编程框架 TornadoVM 发布 7.3 版本,用 Foreign Function & Memory API 取代 JNI,移除实验性 JVMCI 依赖,并新增优化的 CUDA 后端、cuTile 编程模型支持、直接调用 cuBLAS/CUTLASS 等 CUDA 库的能力以及多 GPU 执行支持。团队同时推出基于 Tornado
Hugging Face 用户 DavidAU 发布了基于 NVIDIA Nemotron-3.5-Bolt-74B-A9B 的 GGUF 量化模型,采用 IQ2 QAT 量化,可在 24GB 显存下运行。该模型集成了名为 Turbo Brilliance 的系统,提供 27 种推理模式和 27 种指令模式,以及 15 个 AI Constructs(预设角
llama.cpp 发布构建版本 b11770,主要变更是 ggml-cuda 后端新增对 ssm conv 卷积核尺寸 7 的支持(PR #30873)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新属于底层推理框架的增量
llama.cpp 发布 b11757 版本,主要变更是 CUDA 后端在旧版内存池刷新后清理 CUDA graphs(#26771),该改动由 Claude Opus 5.5 辅助完成。发布同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA 12/13、Vulkan、ROCm、SYCL、OpenVIN
Google 宣布开源 TorchTPU,这是其长期开发的 PyTorch 版本,可让 AI 应用无需重写代码、仅通过配置变更即可运行在 Google 的 TPU 及 Google Cloud 上。此前一天,Amazon 也发布了类似工具 TorchNeuron,支持将 PyTorch 应用迁移至其自研芯片 Trainium 和 AWS。两家公司正联手削弱
中国商务部发布政策提案,拟要求前沿AI模型在向国际共享前获得政府预审批,但开源技术将自动获批;美国国土安全部发布命令,限制DeepSeek作为供应商参与联邦民事采购。DeepSeek随后公开其内部推理栈DeepInfer,据估计在其上销售token的毛利率可达90%,可能推动其模型价格下降。此外,小米MiMo-V2.6-Pro-RL、DeepSeek-V4.
微软推出 Guardian Agents 等新安全功能,用于监控企业内部的 AI 智能体,并将其类比为“内部威胁”。微软 CEO 纳德拉和安全业务负责人表示,前沿模型不可信任,企业应将智能的供给与对智能的授权分离。微软同时在 Defender 中加入智能体检测,可识别 Claude Code、Codex 等 60 类智能体,并限制其数据访问与权限。
CoreWeave 的债券上周跌入困境区间(收益率较国债高出 1000 个基点),股价自周二收盘以来下跌超过 20%,并波及 Oracle 等其他大举借债的 AI 公司。该公司第二季度负债超过 350 亿美元,上半年亏损逾 10 亿美元,但手握 1037 亿美元不可取消的剩余履约义务,最大客户为微软、OpenAI 和疑似英伟达。文章认为这未必意味着 AI 泡
AWS 发布 TorchNeuron 开发工具,让基于 PyTorch 的 AI 应用只需改一行配置即可运行在亚马逊自研 AI 芯片 Trainium 上,无需重写代码。亚马逊还计划向 PyTorch 上游贡献代码,移除框架与特定芯片绑定的部分,推动 PyTorch 硬件无关化。此举直接挑战英伟达依靠 CUDA 建立的软件生态优势,若成功将削弱开发者对英伟达
AI 芯片初创公司 Tenstorrent 以 62 亿美元估值完成 15 亿美元融资,估值较 2024 年底的 26 亿美元翻倍有余。本轮由 Trace Capital 和 Innovation X 领投,Cadence Ventures、Eclipse、Fidelity、SanDisk、T. Rowe Price 等参投。CEO Jim Keller 表
llama.cpp 发布构建版本 b11732,主要修复了 CUDA 后端中关于多余分号的编译警告(#30774)。该版本同步提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA 12/13、Vulkan、ROCm、SYCL、OpenVINO、Snapdragon 等后端。此次更新属于常规维护性构建,对终端用
FermionResearch 发布开源英语语音识别模型 Phonon-2,基于 NVIDIA parakeet-tdt-0.6b-v3 量化而来,下载体积仅 164 MB,在 Open ASR Leaderboard 七个英语测试集上平均词错误率 5.21%,接近其 2.5 GB 全精度教师模型的 4.96%。该模型采用约 2.1 比特的五级权重量化,可在
llama.cpp 发布 b11721 版本,在 CUDA 后端将 qwen4exp 的 SCALE - SIGMOID - SCALE - hc post 计算链融合为单个 kernel,这是对 Vulkan HC POST GATE 融合(#29520)的移植。改动后 hc post 权重由 2 sigmoid(inject/hc) 构建,dsv4 hc
llama.cpp 发布 b11719 版本,主要变更是 ggml-cuda 后端在 flash attention 中当 k VKQ max 等于 k VKQ max - nbatch fa 时不再做越界检查(PR #30572)。同时该版本提供了 macOS、iOS、Linux、Android、Windows 等多平台多后端的预编译二进制包,包括 CUD
llama.cpp 发布 b11711 版本,主要修复 CUDA 后端 fattn 向量分发中的 -Wtautological-compare 编译警告,由 Hugging Face 的 Adrien Gallouët 提交。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SY
llama.cpp 发布 b11710 版本,主要变更为在 CUDA 后端为分组专家(grouped experts)的 top-k 计算增加融合(fusion)优化,并补充了测试、修复了 HIP 相关问题,同时将该优化接入 graph optimize。该版本同步提供 macOS、Linux、Windows、Android 等多平台、多后端(CUDA、Vu
英伟达机器人平台前产品营销负责人 Amulya Vishwanath 离职后创立早期基金 Techable VC,投资方向覆盖机器人、材料科学与生命科学等物理 AI 领域。她认为机器人目前处于“乐高时代”,执行器、机械手、软件和安全标准等基础模块仍在重建,这与“通用基础模型将带来机器人 ChatGPT 时刻”的观点相左。她将物理 AI 定义为不止于机器人,还
前英伟达机器人平台产品营销负责人Amulya Vishwanath转型成为风投,创立Techable VC并担任创始管理合伙人。她认为机器人技术目前处于“乐高时代”,执行器、机械手、软件和安全标准等基础模块仍在重建,尚未迎来类似ChatGPT的爆发时刻。这一观点与部分认为通用基础模型将很快让机器人迎来“ChatGPT时刻”的看法相左。