llama.cpp b11763:OpenCL 后端新增小批量 GEMM 变体并修复越界读
llama.cpp 发布 b11763 版本,主要针对 OpenCL 后端做优化:为小批量场景新增多个 GEMM 变体(q4 k dp4a、mul mm f16 f32 l4 lm 窄变体、gemv noshuffle q1 0 f32 单子组变体),修复 mul mv mxfp4 f32 flat 的越界读取,移除强制大 N 走 CPU 权重的限制,并按工
技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3309 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
llama.cpp 发布 b11763 版本,主要针对 OpenCL 后端做优化:为小批量场景新增多个 GEMM 变体(q4 k dp4a、mul mm f16 f32 l4 lm 窄变体、gemv noshuffle q1 0 f32 单子组变体),修复 mul mv mxfp4 f32 flat 的越界读取,移除强制大 N 走 CPU 权重的限制,并按工
llama.cpp 发布 b11759 版本,核心变更是为 ggml-zdnn 后端引入 flash attention 算子(PR #30512),由 IBM 的 Aaron Teo 贡献,同时新增 scratch buffer pool 并补充相关文档说明。该版本同步提供 macOS/iOS、Linux、Android、Windows 等多平台多后端(C
i14 公司设计了采用门控线性注意力(GLA)的 Laplace 3B 模型,其循环状态固定为每序列 29.5 MB,不随上下文长度增长。i14 与 AWS 合作,通过 TorchNeuron Native 的原生 PyTorch 支持将该架构移植到 AWS Trainium2,保留了 GLA 设计与 Muon 优化器。在单台 trn2.48xlarge 实
SpaceX 第三季度营收 146 亿美元,其中 AI 业务(含 Grok 智能体、Cursor 编程工具及算力云业务)贡献 52% 的收入,达 75 亿美元、利润 4.31 亿美元,超出投资者预期。公司正从太空企业转向以 AI 为核心,并大举投入 Colossus II 数据中心与星舰项目,季度资本开支达 196 亿美元。马斯克称超智能部署的瓶颈已从芯片转
H2O.ai 在 Hugging Face 发布了 H2O Lightning 4B 的 GGUF 量化版本,供 llama.cpp 使用。该模型以带概率的类型化决策(choice、noul、score)输出结果,官方推荐 Q8 0 文件,并给出各精度档位相对 BF16 的准确率与答案一致率对比。llama.cpp 已合并相关支持,用户可直接通过 llama
llama.cpp 发布 b11757 版本,主要变更是 CUDA 后端在旧版内存池刷新后清理 CUDA graphs(#26771),该改动由 Claude Opus 5.5 辅助完成。发布同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA 12/13、Vulkan、ROCm、SYCL、OpenVIN
SF Compute CEO Evan Conrad 在 Latent Space 播客中介绍公司从转租 GPU 集群扩展为具备云运营能力的算力交易市场,强调「物理结算」——买家获得可用算力而非现金结算。他解释了如何通过匹配不同约束条件的订单让非标准化算力可交易,并讨论现货与远期定价、批处理与实时推理租赁的区别。Conrad 认为英伟达等拥有大型硬件或推理业
Elevenlabs 发布了两款名为 Eleven Realtime 的语音到语音模型。其中 Max 版本在 Big Bench Audio 基准上得分 98.8%,响应时间为 0.57 秒,官方称在 Artificial Analysis 排行榜上没有模型能同时更快且更准确。较小的 v1 Mini 面向低成本自然对话,能判断对方是否说完或只是回应。两款模型
Deepseek 以 Apache License 2.0 协议开源了其内部推理框架 DeepInfer,该框架基于 vLLM 构建,包含优化的计算内核、多芯片分布式处理和更快的文本生成技术,用于支撑其 V4.1-Flash 模型的高效推理服务。Deepseek 同时发布了 deepseek-recipe,用于复现官方 API 的 token 处理流程,使自
Google 宣布开源 TorchTPU,这是其长期开发的 PyTorch 版本,可让 AI 应用无需重写代码、仅通过配置变更即可运行在 Google 的 TPU 及 Google Cloud 上。此前一天,Amazon 也发布了类似工具 TorchNeuron,支持将 PyTorch 应用迁移至其自研芯片 Trainium 和 AWS。两家公司正联手削弱
智谱(GLM)发布新版本公告,集中列出从 2025 年 6 月至 2026 年 8 月的模型上线记录。最新上线的是 GLM-5.3-Flash 原生多模态模型,采用线性注意力与稀疏注意力混合架构(总参 320B、激活 18B),可主动观察界面并迭代改进,覆盖代码、浏览器与图形界面协同闭环。此前 GLM-5.3 旗舰模型在编程基准上较 GLM-5.2 提升 5
DeepSeek开源了内部大规模云服务推理框架DeepInfer和生产级token编解码组件deepseek-recipe,并发布详细技术报告。DeepInfer支持分布式推理、推测解码、SWA Bounded Replay和结构化输出,可在英伟达与华为昇腾平台运行,支撑DeepSeek V4.1 Flash实现单集群155万亿Tokens/天吞吐、每卡每小
Langfuse 发布 v4.66.0 版本,主要新增 Topics 可见性的统一开关功能,并修复了会话中空推理消息展开、Web 端 Owner 角色选择权限、I/O 区块折叠显示、OTel 元数据字符串存储以及应用内 agent 的 Bedrock v4 工具调用等问题。此外还包含查询 AST 重构和摄取流程支持技能目录名称/版本等杂项改动。
中国商务部发布政策提案,拟要求前沿AI模型在向国际共享前获得政府预审批,但开源技术将自动获批;美国国土安全部发布命令,限制DeepSeek作为供应商参与联邦民事采购。DeepSeek随后公开其内部推理栈DeepInfer,据估计在其上销售token的毛利率可达90%,可能推动其模型价格下降。此外,小米MiMo-V2.6-Pro-RL、DeepSeek-V4.
AWS 宣布加拿大区域的客户可通过 Amazon Bedrock 的跨区域推理(CRIS)访问 OpenAI 的 GPT-5.6、GPT-6 和 GPT-6.1 系列模型,请求会从加拿大源区域路由至北美或全球支持区域处理。文章介绍了各模型的定位、US geographic 与 Global 两类推理配置文件、IAM 权限与 SCP 配置,以及通过 OpenA
HPE 赞助内容指出,企业 AI 正从零散的聊天机器人试验转变为基础性生产系统,衡量指标应从 token 或 GPU 小时单价转向「每个有用产出的有效成本」。文章比较了自建栈、按需消费和集成私有 AI 平台三种模式,强调拥有 GPU 并不自动改善经济性,需要足够需求与运营纪律,并通过模型路由、GPU 分区、KV-cache 管理等手段提升利用率。HPE 借此
开发者 lodestones 在 Hugging Face 发布了 Kromoss,这是对 OpenMOSS-Team 的 MOSS-Image-Base 在 1024px 分辨率下进行全量微调得到的文生图模型,采用与 MOSS-Image-SFT 相同的架构、推理流程、Qwen3.5-9B 文本编码器和 FLUX.2 small VAE,可直接替换使用。该
llama.cpp 发布 b11756 版本,修复了 server 端在 Anthropic /v1/messages 接口转换过程中未透传 id slot 参数的问题。此前该接口会忽略 id slot,导致依赖固定 slot 复用 KV cache 的代理回退到自动 slot 选择,在混合/循环模型上触发完整重新 prefill。该改动使 /v1/mess
MiniMax 正式发布此前在 OpenRouter 匿名屠榜的 Space Bunny(玉兔)模型,代号 M3.1 Flash。该模型在 Agents' Last Exam 上得分 29.6%,位列国产模型第一,并在 Coding、网络安全、Computer Use 等基准进入全球第一梯队,输出速度最快 200+ TPS。价格方面,输入每百万 Token
另有 2 家信源报道
Cloudflare 发布 AI 模型 Clairic,称其从文档中提取数据的速度和成本均优于大语言模型。该模型已在 Workers AI 上提供预览,开放权重即将跟进。用户指定所需字段后,Clairic 单次返回带置信度的结构化结果,可与 LLM 及其他模型串联使用;Cloudflare 称一条包含提取、决策和回复的链路耗时 19.3 秒,而单独使用 GL
另有 1 家信源报道