法国初创Kog通过软件优化提升GPU推理速度
法国初创公司Kog致力于通过软件优化在现有数据中心GPU上实现更快的AI推理速度，其技术预览在Hacker News上引起关注，并获得了200个商业线索。Kog计划在9月前将首个大型模型推理速度提升10倍，以吸引投资并推动业务发展。
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3340 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
8月14日周五 · 20 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
OpenAI 推出 Ultrafast 模式，GPT-5.6 Sol 速度提升 14 倍
OpenAI 推出 GPT-5.6 Sol 的“Ultrafast”模式预览，通过 Cerebras 硬件实现每秒 750 个输出 token，速度提升 14 倍。该服务初期仅通过 API 向特定客户提供，并计划逐步扩大。OpenAI 旨在将小模型的速度与大模型的推理能力结合，应用于事件响应、金融、客服、电商和研究等场景，同时通过分层定价将速度作为盈利杠杆。
正文结构化主题已通过公开置信门槛
llama.cpp b10430 发布：支持虚拟 iGPU 设备
llama.cpp 发布 b10430 版本，主要更新是允许虚拟 iGPU 设备（PR #26953）。该版本提供了适用于 macOS、Linux、Windows、Android 和 iOS 的多种预编译二进制文件，涵盖 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等后端。部分平台（如 macOS KleidiAI、Ubuntu R
正文结构化主题已通过公开置信门槛
llama.cpp b10429 发布：支持解码期间访问指标和槽位
llama.cpp 发布 b10429 版本，主要更新是允许在 llama decode() 期间访问 /metrics 和 /slots 端点，通过重构 server queue 的 worker 逻辑，在 yield to queue 中调用 llama decode 并处理 process mtmd chunk。该版本提供了多平台预编译二进制文件，包括
正文结构化主题已通过公开置信门槛
MiniMax-H3 GGUF curve 版发布：体积缩减40%并适配24GB显存
joeygambino 发布了 MiniMax-H3 的 GGUF 量化版本（curve 形式），基于 MiniMax 的剪枝检查点构建，体积比原版小约 40%，Q8 0 版本可适配 24GB 显存。该版本通过分解 adaln 调制矩阵实现压缩，在 ComfyUI 0.30.0 及以上版本中运行，并提供了与原始版本的渲染对比数据。
正文结构化主题已通过公开置信门槛
MiniMax-H3 GGUF 量化版发布，支持 ComfyUI 运行
joeygambino 发布了 MiniMax-H3 的 GGUF 量化版本，支持在 ComfyUI 中运行，并提供 fl2va 和 ref2va 两种模型。该版本解决了 ComfyUI-GGUF 的架构识别问题，并提供了多种量化选项以适应不同显存。此外，还提供了剪枝版本的替代方案，并解释了 K-quants 不可用的原因。
正文结构化主题已通过公开置信门槛
太初元碁承办AI+教育大赛，加速卡模型适配赛道招募开启
太初元碁承办国家级“AI+教育”大赛中的“AI+加速卡模型适配赛道”，面向全国开发者招募，提供免费国产算力资源和算子开发Agent工具，要求参赛者完成模型在自研加速卡上的适配优化。该赛道旨在推动国产算力生态落地和AI人才培养，报名截止至2026年10月15日。
正文结构化主题已通过公开置信门槛
llama.cpp b10428 发布：清理路径并更新多平台构建
llama.cpp 发布 b10428 版本，主要更新是清理了示例文档和测试中的个人主目录路径，替换为通用占位符。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，并支持多种硬件加速后端。部分平台构建（如 KleidiAI、ROCm、openEuler）被标记为禁用。
正文结构化主题已通过公开置信门槛
llama.cpp b10427 发布：SYCL 融合优化提升推理速度
llama.cpp 发布 b10427 版本，主要更新为在 SYCL 后端融合了 q4 K 密集 FFN 的 mul mat(gate)、mul mat(up) 和 GLU 操作。在 Arc Pro B70 上，qwen2.5-3B 和 gemma-2-2b 的推理速度分别提升 2.8% 和 2.0%，批处理场景下最高提升 12.4%。该版本同时提供了多平台
正文结构化主题已通过公开置信门槛
Langfuse v4.11.0 发布：增强迁移体验与多项修复
Langfuse 发布 v4.11.0 版本，包含多项功能改进和修复。主要新增功能包括：在 trace 中如实展示超过加载上限的观测数据、暴露迁移观测证据、为应用内代理增加后台会话活动提示和 toast 卡片、为通过第三方提供商集成的旧 SDK 项目引入强制 v3 体验、使 Markdown 渲染字符限制可配置、在会话中显示现有标注计数，并在 v4 迁移侧边
正文结构化主题已通过公开置信门槛
llama.cpp b10426 发布：wasi 强制单线程
llama.cpp 发布 b10426 版本，主要更新为在 wasi 上强制单线程执行（PR #25686）。该版本提供了适用于 macOS、Linux、Windows、Android 等多种平台的预编译二进制文件，并支持 Vulkan、CUDA、ROCm、OpenVINO、SYCL 等后端。部分平台构建（如 KleidiAI、ROCm 等）被禁用。
正文结构化主题已通过公开置信门槛
llama.cpp b10425 发布：SYCL 融合优化提升推理性能
llama.cpp 发布 b10425 版本，主要更新为在 SYCL 后端融合了 gated-delta-net 状态写回操作，提升了 Arc Pro B70 上 Qwen 3.6 27B 模型的推理性能，文本生成速度提升约 1.2%。该版本提供了多平台预编译二进制文件，包括 macOS、Linux、Windows、Android 等。
正文结构化主题已通过公开置信门槛
AutoPrune：利用 LLM 自动设计视觉令牌剪枝策略的 AI4AI 框架
AutoPrune 是一个由 Hugging Face 论文提出的 AI4AI 框架，利用大型语言模型自动设计视觉令牌剪枝策略，通过领域特定语言和残差搜索公式实现高效剪枝。实验表明，在移除 94.4% 视觉令牌时，AutoPrune 保留了超过 99% 的全令牌性能，同时将 FLOPs 减少 9.9 倍，预填充延迟降低 6.4 倍。该框架在 14 个多模态基
正文结构化主题已通过公开置信门槛
llama.cpp b10424 发布：改进 DFlash 日志输出
llama.cpp 发布 b10424 版本，主要改进了 DFlash 架构中 target layer ids 的日志输出格式，使其更清晰易读。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，并支持多种后端如 Vulkan、CUDA、ROCm 等。
正文结构化主题已通过公开置信门槛
Gemini 3.7 Flash 发布，Google 重回前沿
Latent Space 报道称，Google 发布 Gemini 3.7 Flash 模型，使其在性能上重新回到前沿。文章指出，此前 3.5 和 3.6 Flash 版本已落后于 Claude 4.8+ 和 GPT 5.5+ 系列模型，而新版本通过更新缩小了差距。该更新对 Google 在 AI 模型竞争中的地位具有积极影响。
正文结构化主题已通过公开置信门槛
Meta 开源 Muse Glimmer：30B 本地代理模型，优化设备端执行
Meta AI Research 开源了 Muse Glimmer，一个 300 亿参数、Apache 2.0 许可的模型，专为本地设备上的自主代理、工具调用和编码任务设计。该模型通过动态量化和 DFlash 投机解码优化，可在消费级 GPU 上运行，内存占用降至 17-20 GB。Muse Glimmer 在多个基准测试中表现优于同类模型，并支持多种本地框
正文结构化主题已通过公开置信门槛
LLMRouter：用于开发、评估和部署 LLM 路由器的统一基础设施
LLMRouter 论文提出了一个统一的 LLM 路由基础设施，将路由形式化为包含五个组件的顺序决策过程，并构建了覆盖多种任务的 xRouteBench 基准。该框架包含 16 种以上的路由方法，实验表明学习型路由器比最强固定模型基线相对提升 14.6%，并支持从训练到部署的端到端流程。
正文结构化主题已通过公开置信门槛
量化MoE中路由翻转检测易但修复判断难
本研究针对量化混合专家模型（MoE）中的路由翻转问题，提出了一种因果分析框架，并发现检测路由翻转比判断其是否需要修复更容易。实验表明，在4位KV缓存量化下，约三分之一的性能损失由路由中介引起，但现有推理可观测的统计量无法预测翻转的损失符号，存在经验性的收益检测障碍。研究还发现参考保真度的修复效果因架构而异，且门控归一化约定仅影响损伤幅度而非路由可恢复性。
正文结构化主题已通过公开置信门槛
基于因果推断发现高效可解释的LLM多智能体通信拓扑
arXiv 上发布了一篇关于基于大语言模型的多智能体系统通信拓扑的研究论文。论文提出 E2-Explainer 框架，通过因果推断识别通信拓扑中的关键子图，以解释协作成功的原因并剪除冗余边。实验表明，该框架能有效降低通信成本并保持任务性能。
正文结构化主题已通过公开置信门槛
全带宽 Transformer：通过潜在反馈提升推理效率
Hugging Face 每日论文发布了一篇关于全带宽 Transformer 的研究，该研究通过引入潜在反馈机制，将解码步骤中顶层隐藏状态与采样 token 嵌入融合后反馈回网络底部，以拓宽垂直反馈通道，从而在不改变核心架构、KV 缓存和语言建模目标的前提下提升推理能力和效率。实验表明，在 1B 参数规模、400B token 的训练下，全带宽 Trans