Chipmunk：利用动态列稀疏增量加速扩散 Transformer
Together AI 和 UCSD 的研究人员提出了 Chipmunk，一种无需训练即可加速扩散 Transformer 推理的方法。该方法利用扩散步骤间激活值变化缓慢且稀疏的特性，通过缓存注意力权重和 MLP 激活，并动态计算稀疏增量，实现了高达 3.7 倍的视频生成加速（HunyuanVideo）和 1.6 倍的图像生成加速（FLUX.1-dev）。C
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3343 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
8月3日周一 · 20 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
Together AI 定制投机解码加速 DeepSeek-R1 推理
Together AI 在博客中展示了为 DeepSeek-R1 定制投机解码（speculative decoding）加速器的方法，通过基于客户工作负载微调，相比其基础加速器可实现 1.23-1.45 倍解码速度提升和约 25% 成本降低，相比传统逐 token 预测则达到 1.85-2.97 倍加速和约 55% 成本削减。该方法利用客户专用端点的数据分
正文结构化主题已通过公开置信门槛
Together AI 发布 YAQA 量化算法，显著降低模型输出偏差
Together AI 发布了新的后训练量化方法 YAQA，通过直接最小化 KL 散度来保留原始模型输出，与现有量化器（如 QTIP）兼容，可将 KL 散度降低超过 30%，并在下游任务上取得最优性能。该方法利用 Fisher 信息矩阵和 Kronecker 分解来近似 Hessian，从而在保持模型质量的同时实现高效量化。
正文结构化主题已通过公开置信门槛
Together AI 用 AI 代理自动化复杂工程任务的经验
Together AI 通过博客分享了使用 AI 代理自动化复杂工程任务的经验，重点介绍了开发高效 LLM 推理系统（如推测解码）的案例。他们提出了六个构建自动化代理的模式，分为基础设施模式和行为模式，强调工具质量、文档完善、任务可验证性等原则。该代理系统显著减少了人工干预，提高了工程效率。
正文结构化主题已通过公开置信门槛
AutoJudge：自动化数据集筛选加速 LLM 推理
Together AI 推出 AutoJudge，一种通过自动化数据集筛选加速大语言模型推理的方法。它采用有损投机解码，无需人工标注，可接受最多 40 个草稿令牌，实现 1.5-2 倍加速，并兼容 vLLM 等主流框架。研究将在 NeurIPS 2025 展示。
正文结构化主题已通过公开置信门槛
Together AI 在原生云上支持 TorchForge RL 流水线
Together AI 宣布其 Native Cloud 平台现已支持 TorchForge 强化学习（RL）流水线，提供分布式训练和沙箱环境，并发布了在 Instant Clusters 上运行 Qwen 1.5B 模型玩 BlackJack 的演示。该平台集成了 CodeSandbox 和 Code Interpreter，用于工具执行和代码评估，为即将
正文结构化主题已通过公开置信门槛
计算视角：AGI 可实现，硬件远未到极限
Together AI 的 Dan Fu 发表新文章，反驳 AI 发展遇到硬件瓶颈的观点。他认为当前芯片利用率极低，通过软硬件协同设计和 FP4 训练等创新可大幅提升性能。他还指出模型训练滞后于硬件发展，且现有模型已能改变复杂工作流。
正文结构化主题已通过公开置信门槛
一致性扩散语言模型：推理速度提升14倍且不损质量
Together AI 的研究团队提出了一致性扩散语言模型（CDLM），通过结合基于一致性的多令牌定稿和块级 KV 缓存，将扩散语言模型的推理速度提升高达 14.5 倍，同时保持质量。该方法通过后训练配方，使用块因果注意力实现精确的 KV 缓存，并联合优化蒸馏损失、一致性损失和辅助去噪损失。实验表明，CDLM 在数学和编程任务上显著减少了推理步骤，并提升了吞
正文结构化主题已通过公开置信门槛
Together AI 推出缓存感知预填充-解码分离架构，长上下文推理提速达40%
Together AI 推出了缓存感知的预填充-解码分离（CPD）架构，通过按缓存命中率分离冷热工作负载，并利用分布式 KV 缓存，在长上下文推理中实现了高达 35-40% 的可持续吞吐量提升，并显著降低了首令牌延迟（TTFT）。该架构引入了预预填充节点、预填充节点和解码节点的三层角色划分，以及三级 KV 缓存层次，以优化混合真实流量下的服务性能。
正文结构化主题已通过公开置信门槛
分而治之：弱模型如何超越 GPT-4o 处理长上下文
Together AI 的研究（ICLR 2026）提出了一种分而治之的框架，让较弱的模型通过策略性拆分长上下文任务，在长上下文任务上匹配或超越 GPT-4o 的单次处理性能。该框架识别了模型噪声、任务噪声和聚合器噪声三种噪声来源，并通过调整提示词来减少聚合器噪声。实验表明，Llama-3-70B 或 Qwen-72B 等较弱模型在长上下文任务上优于单次读取
正文结构化主题已通过公开置信门槛
Together AI 发布 Aurora：基于强化学习的自适应投机解码框架
Together AI 发布了开源框架 Aurora，基于强化学习，从实时推理轨迹中学习，持续更新投机解码中的草稿模型，无需中断服务。实验表明，Aurora 在 Qwen3 和 Llama3 等模型上比静态草稿模型额外获得 1.25 倍加速，并降低了基础设施成本。该框架支持异步训练和热替换，将投机解码转变为动态自改进的飞轮。
正文结构化主题已通过公开置信门槛
FlashAttention-4：面向不对称硬件扩展的算法与内核流水线协同设计
Together AI 发布了 FlashAttention-4，一种针对 Blackwell 架构不对称硬件扩展的注意力内核优化算法。该算法通过软件流水线、多项式近似指数函数和 2-CTA MMA 等技术，在 B200 上达到 1605 TFLOPs/s（71% 利用率），比 cuDNN 9.13 快 1.3 倍，比 Triton 快 2.7 倍。
正文结构化主题已通过公开置信门槛
Together AI 发布 FlashAttention-4 等七项创新，强化 AI 云全栈能力
Together AI 在首届 AI Native Conf 上发布了七项研究和产品，涵盖内核、强化学习和算法推理优化。其中 FlashAttention-4 针对 NVIDIA Blackwell GPU 优化，速度比 Triton 快 2.7 倍；Together Megakernel 将实时语音代理的首 token 延迟从 281ms 降至 77ms；
正文结构化主题已通过公开置信门槛
Together AI 在 GTC 2026 发布多项创新：集成 Dynamo、Nemotron 3 Super 等
Together AI 在 NVIDIA GTC 2026 上宣布多项合作与产品更新，包括采用 NVIDIA Dynamo 1.0 优化推理、通过 NVIDIA OpenShell 集成 NemoClaw、支持 NVIDIA Nemotron 3 Super 模型用于多智能体工作流，并在模型库中新增 NVIDIA Parakeet TDT 0.6B V3 语
正文结构化主题已通过公开置信门槛
Mamba-3发布：以推理效率为核心的新型状态空间模型
Together AI 与卡内基梅隆大学、普林斯顿大学、Cartesia AI 合作发布了 Mamba-3，这是一种以推理效率为核心的新型状态空间模型（SSM），通过更富表现力的递推公式、复数值状态跟踪和 MIMO 变体，在 1.5B 规模下实现了比 Mamba-2、Gated DeltaNet 和 Llama-3.2-1B 更低的预填充和解码延迟。该模型还
正文结构化主题已通过公开置信门槛
Together AI 内核团队：从 FlashAttention 到 Blackwell 的突破
Together AI 的 kernels 团队在 2022 年通过 FlashAttention 实现了 2-3 倍加速，证明了 GPU 优化仍有巨大潜力。2025 年 3 月，该团队在获得 NVIDIA Blackwell GPU 后的一周内，利用 ThunderKittens 库开发出最快的 FP4/FP8 GEMM 内核，性能比 H100 上的 cu
正文结构化主题已通过公开置信门槛
什么是 AI 原生云？Together AI 定义新一代云基础设施
Together AI 在博客中提出“AI 原生云”概念，认为 AI 公司需要不同于传统 CPU 时代云的基础设施，以支持快速迭代、大规模 GPU 训练和推理。文章阐述了 AI 原生云的五大特征，包括全栈集成、研究到生产的快速路径、开发者速度等，并强调其对于 AI 公司保持竞争力的关键作用。
正文结构化主题已通过公开置信门槛
Together AI 强调推理效率是 AI 生产系统的关键
Together AI 在 NVIDIA GTC 2026 上强调推理效率对 AI 生产系统的重要性，指出推理成本占系统总成本的 80-90%。该公司通过 FlashAttention、ThunderKittens 和 Aurora 等开源技术优化推理性能，并利用 Blackwell 硬件实现全栈优化，帮助客户降低单位经济成本。文章还引用斯坦福 AI 指数，
正文结构化主题已通过公开置信门槛
Together AI 基准测试：编码代理推理引擎性能领先
Together AI 发布了一项针对编码代理工作负载的大规模推理基准测试，结果显示其推理引擎在相同硬件上比最快的开源引擎吞吐量高 31%，且在饱和状态下 TTFT 快 2 倍。该基准测试模拟了长上下文、高并发的生产环境，并强调了 TTFT 和预填充压力等关键指标。性能提升源于全栈优化，包括 ThunderMLA 内核融合和自定义内核重写。
正文结构化主题已通过公开置信门槛
Together AI 推出 Provisioned Throughput，提供开放模型预留推理容量
Together AI 推出了 Provisioned Throughput 服务，为前沿开放模型提供预留推理容量，采用基于 token 的定价和 99% 可用性 SLA。该服务允许客户购买 PTU 单位，以固定速率保证吞吐量，成本比 Claude Opus 4.8 低 90%。目前支持 MiniMax M3 和 GLM-5.2，覆盖北美和 EMEA 地区。