部署工程

Together AI 推出 Blackwell GPU 集群，训练速度提升90%

Together AI 宣布推出基于 NVIDIA Blackwell 平台的 GPU 集群，并配套优化的 AI 加速软件栈 Together Kernel Collection。该集群在训练 70B 参数模型时速度比 H100 快 90%，达到每节点每秒 15,200 tokens。Together AI 利用 ThunderKittens 框架开发了自定

Together AI 发布自适应投机系统 ATLAS，推理速度大幅提升

Together AI 推出了自适应学习投机系统 ATLAS，这是首个无需手动调优即可自动提升推理性能的投机解码系统。ATLAS 结合静态和自适应投机器，根据实时流量动态调整，在 DeepSeek-V3.1 上达到 500 TPS，在 Kimi-K2 上达到 460 TPS，比标准解码快 2.65 倍。该系统旨在解决静态投机器在多变工作负载下性能下降的问题，

FlashAttention-3 发布：利用 Hopper GPU 新特性实现 1.5-2 倍加速

Together AI 发布了 FlashAttention-3，通过利用 Hopper GPU 的异步特性（如 WGMMA、TMA 和 FP8 低精度）来加速注意力计算，相比 FlashAttention-2 在 FP16 下速度提升 1.5-2 倍，达到 740 TFLOPS（H100 理论峰值的 75%），FP8 下接近 1.2 PFLOPS。该技术提

Together AI 成为 MiniMax M3 首选云伙伴，实现高效推理优化

Together AI 宣布成为 MiniMax M3 的首选云合作伙伴，将在其公开发布后托管该开放权重模型。Together AI 的推理和内核团队通过多项优化，如 KV-Block-Major 稀疏注意力内核、MSA 的分页注意力集成等，实现了 81-125% 的吞吐量提升。MiniMax M3 支持 1M 上下文窗口和原生多模态，其稀疏注意力机制显著加

Together AI 与 YC 合作推出首个专用 GPU 集群

Together AI 与 Y Combinator 宣布合作，为 YC 投资组合中的 AI 初创公司提供首个专用 GPU 集群，以解决计算资源获取难和成本高的问题。该集群支持短期灵活使用和长期优惠价格，初创公司可通过自助门户直接管理 GPU。目前集群已满负荷运行，双方计划未来扩展集群规模。

Together AI 完成 8 亿美元 C 轮融资，推动开源 AI 普及

Together AI 宣布完成 8 亿美元 C 轮融资，投资方包括 NVIDIA、Salesforce Ventures 等，并额外获得超过 500 兆瓦计算能力承诺。该公司提供开源 AI 全栈平台，客户包括 Cognition、Cursor 等，其平台通过优化推理栈帮助客户降低 6 至 20 倍成本。CEO 表示将继续推动开源 AI 的普及和高效推理。

Groq 即时支持 OpenAI 开源安全模型 GPT-OSS-Safeguard-20B

Groq 宣布在 GroqCloud 上提供 OpenAI 最新开源安全模型 GPT-OSS-Safeguard-20B 的即时访问，该模型基于 GPT-OSS-20B 微调，专为安全分类任务设计，支持自带策略、可配置推理努力、完整推理轨迹和提示缓存，运行速度超过 1000 tokens/秒，定价与基础模型相同。该模型旨在提供可解释的分类器而非原始分数，便于

Groq 获 2025 Gartner AI 基础设施酷供应商认可

Groq 被 2025 年 Gartner AI 基础设施酷供应商报告认可，其 LPU 芯片相比 GPU 提供更快、更低成本的推理性能，且性能随规模线性扩展。超过 250 万开发者使用 GroqCloud，该平台支持低延迟推理，适合实时 AI 应用。Gartner 分析师强调其确定性执行模型，确保生产环境性能可预测。

Groq 呼吁美国采取灵活 AI 出口政策以保持算力优势

Groq 博客发文主张美国应通过灵活的出口政策推动 AI 基础设施出口，强调推理算力是未来竞争的关键。文章引用数据称 AI 相关投资已占美国 GDP 增长的 40%，并呼吁采用多元化的出口框架（如联盟或市场模式）以保持创新优势。

GroqCloud上线Orpheus TTS新版本，新增沙特阿拉伯语声音

GroqCloud宣布Canopy Labs的Orpheus TTS模型新版本上线，包括改进的沙特阿拉伯语模型，新增Abdullah和Aisha两个声音，并作为PlayAI-TTS的替代品。该模型提供低延迟、字符计费，支持英语和沙特阿拉伯语，适用于语音代理、客户支持等场景。

Groq 揭秘 LPU 架构：如何无损加速万亿参数模型推理

Groq 在 GroqCloud 上预览了 Moonshot 的 Kimi K2 模型，并解释了其 LPU 架构如何通过 TruePoint 数值格式、SRAM 存储和静态调度等技术，在不损失精度的情况下实现万亿参数模型的快速推理。该架构通过选择性降低精度和优化内存层次，实现了比传统 GPU 更高的推理速度和更低的延迟。

xAI 发布 Grok 4.5，全面登陆多平台并集成 Office

xAI 于 2026 年 7 月 22 日发布其最智能的模型 Grok 4.5，现已登陆 grok.com、X、iOS 和 Android 平台。该模型在理解用户意图、长对话跟踪和回答可靠性方面有所提升，并能高效推理，更快给出答案。Grok 4.5 还能端到端完成任务，如构建电子表格、生成幻灯片和图表、起草文本以及从长 PDF 中提取要点。此外，Grok 通

Hugging Face 博客新文章：Kimi K3 等模型发布与技术教程

Hugging Face 博客发布了多篇新文章，涵盖模型发布、技术教程和行业观点。其中重点介绍了 Kimi K3 模型，该模型拥有 2.8T 参数，采用 MXFP4 量化，并开放权重，对社区具有重要意义。其他文章涉及多语言检索模型、设备端视觉语言模型、物理 AI 模拟、FLUX 3 多模态模型、AI 预测模型开源、KV 缓存优化、RAG 幻觉预防等。

vLLM transformers 后端性能达原生水平，支持一键运行

Hugging Face 宣布升级 vLLM 的 transformers 建模后端，通过 torch.fx 静态分析和 AST 源码重写，动态应用推理层融合，使 transformers 模型在 vLLM 中达到或超过原生实现的吞吐。在 Qwen3 系列（4B、32B、235B MoE）上验证了性能，用户只需添加 --model-impl transfor

PyTorch 性能分析（三）：注意力机制剖析

Hugging Face 博客发布 PyTorch 性能分析系列第三部分，聚焦注意力机制的剖析。文章通过对比朴素注意力、原地操作和 SDPA 等实现，展示了如何利用 profiler 识别性能瓶颈，并指出将 masked fill 替换为原地版本可消除多余的内存拷贝内核，从而提升效率。

Thinking Machines 发布开源多模态模型 Inkling 及小型版

Thinking Machines Lab 发布了开源多模态模型 Inkling 及其小型版本 Inkling-Small。Inkling 拥有约 1 万亿参数，支持文本、图像和音频输入，具备 1M 上下文窗口和智能体能力，并已在 Hugging Face 上提供，支持 transformers、SGLang、vLLM 和 llama.cpp 等推理引擎。该

另有 1 家信源报道

模型路由看似简单实则复杂：从分类到系统优化

Hugging Face 博客文章指出，模型路由并非简单的分类问题，而是系统优化问题。作者通过 AppWorld 测试发现，GPT-4.1 的实际成本高于 Claude Sonnet 4.6，原因是缓存读取定价差异。文章强调路由需综合考虑成本、质量、延迟、合规等因素，并介绍了其优化路由器的成本-精度前沿结果。

OpenAI发布GPT-5.6系列及多项API更新

OpenAI 在2026年7月发布GPT-5.6模型系列，包括Sol、Terra和Luna，并大幅降低Luna和Terra的价格。同时推出API快速模式、官方Terraform提供商、GPT Transcribe和GPT Live Transcribe转录模型，以及组织级硬性支出限制。此外，还发布了GPT-Realtime-2.1及mini版本，改进实时推理

Meta 发布 Muse Image 并预览 Muse Video，具备智能体式图像生成能力

Meta 超级智能实验室发布了 Muse Image 并预览了 Muse Video，这是其首批媒体生成模型。Muse Image 具备智能体能力，能使用搜索和编码工具、自我优化，并支持多参考图像合成，已在 Meta AI 应用、meta.ai 等平台上线。Muse Video 提供高保真视频生成和原生音频支持，即将面向创作者推出。模型在 Arena 基准上

Kimi K3 模型概览：2.8T 参数与 MXFP4 量化

Moonshot AI 于 2026 年 7 月 16 日发布 Kimi K3，这是首个达到 2.8 万亿参数的开源模型，采用 MoE 架构和 MXFP4 量化，支持 100 万 token 上下文及原生视觉。模型在多个基准测试中表现优异，尤其在编码任务上领先。开源权重计划于 7 月 27 日发布，将推动社区研究和部署。