谷歌TPU跑Kimi比英伟达GPU快57%，用的还是DeepSeek推理框架
vLLM原班人马创立的推理创业公司Inferact，用自研megakernel推理内核配合DeepSeek提出的DSpark推测解码框架，在16块谷歌TPU v7上跑Kimi K3达到每秒709个token，比16块英伟达GB200的452个token快57%，且精度与GPU一致。megakernel将原本数百个独立kernel合并为单个Pallas程序，消
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3314 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
9月26日周六 · 20 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
SpaFactor：轻量级空间上下文基因程序建模用于组织学-转录组推断
清华大学深圳国际研究生院等机构提出 SpaFactor，一种轻量级低秩形态-程序-基因分解框架，用于从常规 H&E 染色图像推断空间转录组基因表达。该方法融合中心位点视觉表征与多尺度邻域上下文，用残差 MLP 学习组织微环境到低维潜在基因程序的非线性映射，再通过共享基因载荷解码多基因表达。在五个公开队列上取得最佳综合性能，对空间可变基因提升尤为明显，并能更忠
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11193：Hexagon 后端用二进制检查查找软件除法调用
llama.cpp 发布 b11193 版本，主要变更是为 Hexagon 后端引入通过二进制检查工具查找软件除法调用的脚本，并修复了表格对齐问题。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，支持 CUDA、Vulkan、ROCm、OpenVINO、SYCL 等多种后端。
正文结构化主题已通过公开置信门槛
Ling-3.0-flash-VL 多模态模型 GGUF 量化版发布
Hugging Face 用户 bloomer010 发布了 inclusionAI/Ling-3.0-flash-VL 的 GGUF 量化版本，基于 llama.cpp 运行。该模型为 124B 总参数、每 token 仅激活 5.5B 的 MoE 多模态模型，支持图像和视频输入，原生 128K 上下文，可通过 YaRN 扩展至 256K。llama.cp
正文结构化主题已通过公开置信门槛
Vercel AI SDK 为 GPT-6 Sol/Luna 支持 reasoningEffortUpdate: none
Vercel AI SDK 发布 @ai-sdk/openai@4.0.78 补丁版本，为 GPT-6 Sol 和 Luna 模型新增对 reasoningEffortUpdate: 'none' 的支持，覆盖请求级选项和定位系统消息。该版本还会根据模型支持的努力级别校验更新值，对不支持的请求级更新发出警告并忽略，对不支持的历史更新则直接拒绝。
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11192：更新 cpp-httplib 至 0.58.0
llama.cpp 发布 b11192 版本，主要变更是将内置的 cpp-httplib 依赖更新至 0.58.0（PR #29407）。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，包含 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。
正文结构化主题已通过公开置信门槛
OpenRouter 从种子轮到 Stripe：中立路由层与 token 经济安全
OpenRouter 联合创始人兼 CEO Alex Atallah 与 AMP 的 Anjney Midha 在 Latent Space 播客中回顾了 OpenRouter 从 Llama、Alpaca、Mistral 等早期开源模型浪潮中起步，成长为服务超 1000 万开发者的中立模型路由层的过程。节目讨论了模型实验室在分发上的困境、Mistral 价
正文结构化主题已通过公开置信门槛
Claude Code 2.1.283 更新：新增模型管控与提示审计
Claude Code 发布 2.1.283 版本更新，新增网关提示头、可用/禁用模型管理设置、MCP 与 WebFetch/WebSearch 输出的 OpenTelemetry 追踪，以及 /doctor prompt-audit 审计命令等能力。同时修复了 SDK 会话工具调用丢失、MCP 后台进度通知、插件加载与校验、沙箱与权限对话框等多处问题。
正文结构化主题已通过公开置信门槛
Prism ML 发布三值量化 Bonsai 2 27B GGUF 模型
Prism ML 在 Hugging Face 发布 Bonsai 2 27B 的 GGUF 版本，基于 Qwen3.8-27B 架构，将全部语言权重（嵌入、注意力投影、MLP 投影、LM head）量化为三值 {-1,0,+1}，以约 1.72 bits/weight 存储，模型体积约 5.95 GB（PTQ1 0）或 7.21 GB（PQ2 0），相比
正文结构化主题已通过公开置信门槛
llama.cpp b11189：OpenCL 新增 Q5 K A8 二进制 GEMM 内核
llama.cpp 发布 b11189 版本，主要变更是为 OpenCL 后端新增两个二进制 GEMM 内核（kernel gemm noshuffle q5 k f32 32b trans ila a8 bin 和 kernel gemm noshuffle q5 k q8 1 dp4a ila a8 bin），分别覆盖非 dp4a 与 dp4a 的 A8
正文结构化主题已通过公开置信门槛
llama.cpp b11188 修复旧版 GLSLC 的 Vulkan 构建问题
llama.cpp 发布 b11188 版本，主要修复了旧版 GLSLC 编译器因不支持 cooperativeMatrix API 而导致的 Vulkan 构建问题。改动通过新增 GGML VULKAN COOPMAT GLSLC SUPPORT 宏检查、在创建前过滤不支持的 FA 两阶段内核，并将 Intel FA 着色器指针创建的锁保护移入 CM1 编
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11185：提取共享 Unicode 路径/字符串辅助函数
llama.cpp 发布 b11185 版本，主要变更是将共享的 Unicode 路径与字符串辅助函数提取到 common 模块（PR #29415），由 Adrien Gallouët 提交。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制，支持 CUDA、Vulkan、ROC
正文结构化主题已通过公开置信门槛
llama.cpp b11183：Metal FA kernel 按数据类型拆分
llama.cpp 发布 b11183 版本，主要变更是将 Metal 后端的 flash attention（fa）kernel 按数据类型拆分为独立库，并附带一处注释小修正。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台多后端的预编译二进制包。
正文结构化主题已通过公开置信门槛
昇腾950超节点正式上市，主打十万亿大模型训推
华为在全联接大会2026期间正式上市昇腾950超节点，包括面向液冷数据中心的Atlas 950 SuperPoD和面向企业级风冷机房的Atlas 850E，称其为业界最大规模商用超节点。产品通过灵衢高速互联、统一内存编址、自研散热与电源等技术，宣称训练效率提升1.5-1.7倍、推理性能提升2-3倍、时延低于10ms，并已在互联网、金融、医疗等行业落地。昇腾同
正文结构化主题已通过公开置信门槛
llama.cpp b11182：新增精度策略与 W4A4 推理路径
llama.cpp 发布 b11182 版本，核心变更是新增 llama prec policy 精度策略并引入模型驱动的 W4A4（4位权重/4位激活）推理路径（PR #24364），由 NVIDIA 工程师 ynankani 提交，Georgi Gerganov 等人参与评审。该改动涉及 ggml CUDA 后端 mmq.cu 的 MXFP4 调度调整，
正文结构化主题已通过公开置信门槛
智元第20000台具身机器人交付长隆，超300台常驻乐园
智元在横琴长隆飞船乐园部署超300台具身机器人，覆盖导览、科普、零售、酒店等七大场景，首期部署后预计整体规模达数千台。同日，第20000台具身机器人远征A3 Ultra下线交付长隆，长隆×智元具身智能文旅联合研究院揭牌，并联合中国移动发布文旅场景大规模5G-A具身智能创新应用。智元称2026年为「具身智能部署态元年」，行业评价指标从本体参数与Demo完成度转
正文结构化主题已通过公开置信门槛
AWS 在 EKS 上用 EFA 和 DeepEP 扩展 MoE 强化学习，吞吐量提升 40%
AWS 机器学习博客介绍了一种在 Amazon EKS 上结合 EFA 与 DeepEP 扩展 MoE 强化学习训练的架构，声称吞吐量提升 40%。文章指出大规模 RLHF/GRPO 训练面临 rollout 生成与策略训练资源竞争、计算/内存/带宽平衡、以及从节点内 NVLink 到节点间低带宽通信转变三大挑战，其中专家并行（EP）的动态 all-to-a
正文结构化主题已通过公开置信门槛
在 SageMaker HyperPod 上用 SkyRL 加速多模态 RL 训练
AWS 博客介绍在 Amazon SageMaker HyperPod 上使用开源 RL 框架 SkyRL 进行多模态强化学习训练。方案以 Qwen3-VL-8B 视觉语言模型为策略模型，采用 GRPO 算法训练其走 2D 迷宫，从 VisGym SFT 检查点出发，在固定 64 迷宫评测集上把解迷宫成功率从 43.75% 提升到 95% 以上。HyperP
正文结构化主题已通过公开置信门槛
NarrateAI：Amazon Bedrock 上的生产级 LLM 质量保障
AWS 博客介绍 NarrateAI 在 Amazon Bedrock 上为高管业务评审提供生产级 LLM 质量保障，服务超过 4000 名 AWS 高管。文章详述五种协同技术：自适应流水线编排、跨账户多模型故障转移、实时流式评估、复合评估框架和数据准确性验证，实现约 99% 的数值准确率并支持实时流式响应。
正文结构化主题已通过公开置信门槛
在 Amazon SageMaker AI 上部署 Qwen3-TTS 实时个性化语音
AWS 博客介绍如何在 Amazon SageMaker AI 上通过 JumpStart 部署阿里云 Qwen 团队开源的 Qwen3-TTS-12Hz-1.7B-Base 文本转语音模型，实现实时语音克隆。该模型支持 10 种语言和跨语言克隆，仅需几秒参考音频即可复刻说话人音色，无需重新训练。部署采用 vLLM-Omni 容器和全托管实时推理端点，用户可