Together AI 发布 CoderForge-Preview：最大开源编码智能体数据集
Together AI 发布了 CoderForge-Preview，这是目前最大的开源测试验证编码智能体数据集，包含 258,134 条轨迹（其中 155,144 条成功），覆盖 51,201 个任务和 1,655 个仓库。通过在该数据集上微调 Qwen-3 32B 模型，SWE-Bench Verified 性能提升了 23.0%，达到 59.4% 的
数据与训练
技术方向 · 训练侧的门道：数据集构建、合成数据、预训练与后训练方法 · 共 928 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
8月3日周一 · 9 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
FlashAttention-4：面向不对称硬件扩展的算法与内核流水线协同设计
Together AI 发布了 FlashAttention-4，一种针对 Blackwell 架构不对称硬件扩展的注意力内核优化算法。该算法通过软件流水线、多项式近似指数函数和 2-CTA MMA 等技术，在 B200 上达到 1605 TFLOPs/s（71% 利用率），比 cuDNN 9.13 快 1.3 倍，比 Triton 快 2.7 倍。
正文结构化主题已通过公开置信门槛
Together AI 发布 FlashAttention-4 等七项创新，强化 AI 云全栈能力
Together AI 在首届 AI Native Conf 上发布了七项研究和产品，涵盖内核、强化学习和算法推理优化。其中 FlashAttention-4 针对 NVIDIA Blackwell GPU 优化，速度比 Triton 快 2.7 倍；Together Megakernel 将实时语音代理的首 token 延迟从 281ms 降至 77ms；
正文结构化主题已通过公开置信门槛
Mamba-3发布：以推理效率为核心的新型状态空间模型
Together AI 与卡内基梅隆大学、普林斯顿大学、Cartesia AI 合作发布了 Mamba-3，这是一种以推理效率为核心的新型状态空间模型（SSM），通过更富表现力的递推公式、复数值状态跟踪和 MIMO 变体，在 1.5B 规模下实现了比 Mamba-2、Gated DeltaNet 和 Llama-3.2-1B 更低的预填充和解码延迟。该模型还
正文结构化主题已通过公开置信门槛
Together AI 内核团队：从 FlashAttention 到 Blackwell 的突破
Together AI 的 kernels 团队在 2022 年通过 FlashAttention 实现了 2-3 倍加速，证明了 GPU 优化仍有巨大潜力。2025 年 3 月，该团队在获得 NVIDIA Blackwell GPU 后的一周内，利用 ThunderKittens 库开发出最快的 FP4/FP8 GEMM 内核，性能比 H100 上的 cu
正文结构化主题已通过公开置信门槛
什么是 AI 原生云？Together AI 定义新一代云基础设施
Together AI 在博客中提出“AI 原生云”概念，认为 AI 公司需要不同于传统 CPU 时代云的基础设施，以支持快速迭代、大规模 GPU 训练和推理。文章阐述了 AI 原生云的五大特征，包括全栈集成、研究到生产的快速路径、开发者速度等，并强调其对于 AI 公司保持竞争力的关键作用。
正文结构化主题已通过公开置信门槛
Together AI 增强 GPU 集群：可靠性提升与运维控制
Together AI 发布了 GPU 集群的多项更新，包括被动健康检查、自动节点修复、Slinky 2.0 以及新的运维控制功能，旨在提升大规模训练和推理的可靠性。这些更新通过检测硬件故障、自动修复节点、增强 Slurm 稳定性，并提供 OIDC、启动脚本等自定义选项，帮助团队更高效地管理生产集群。
正文结构化主题已通过公开置信门槛
Together AI 推出生产级推理平台更新及自定义训练测试版
Together AI 发布了其推理平台的重大更新，提供对性能、成本和质量的完全控制，支持金丝雀发布、蓝绿部署、A/B 测试和自动回滚等功能，并宣布了自定义训练的封闭测试版。该平台旨在帮助团队在生产环境中运行开源权重模型，同时避免从零构建推理栈的复杂性。Together AI 每月处理超过 4000 亿 token，其新平台整合了研究、模型优化和平台工程团队
正文结构化主题已通过公开置信门槛
Together AI 在 ICML 2026 展示全栈前沿研究
Together AI 在 ICML 2026 上发表了九篇论文，覆盖从智能体到 GPU 内核的全栈研究。其中，Aurora 论文提出的自适应投机解码已作为 ATLAS 投机器在生产环境中部署。研究还包括 DSGym 数据科学智能体评估框架、ThunderAgent 智能体工作负载优化、TTT-Discover 开放模型科学发现，以及 RARO 无验证器强化
8月2日周日 · 9 条
正文结构化主题已通过公开置信门槛
Parcae：稳定循环模型以更少参数实现更高质量
Together AI 发布了 Parcae，一种稳定的循环语言模型架构，通过增加循环次数而非参数规模来提升模型质量。Parcae 在 770M 参数下达到了 1.3B 参数 Transformer 的性能，并建立了首个循环缩放定律。该架构通过参数化注入方式确保稳定性，解决了循环模型训练不稳定的问题，为内存受限的边缘设备训练提供了新路径。
正文结构化主题已通过公开置信门槛
DAS框架：分布感知投机解码加速RL训练rollout高达50%
Together AI 博客介绍了分布感知投机解码（DAS）框架，用于加速强化学习（RL）后训练中的 rollout 阶段，最高可提速 50% 且不改变模型输出。DAS 通过自适应后缀树草稿模型和长度感知调度策略，解决了长尾生成导致的 GPU 利用率低和同步瓶颈问题。实验表明，在数学推理和代码生成任务上，DAS 分别实现了超过 50% 和约 25% 的 ro
正文结构化主题已通过公开置信门槛
METR 呼吁对 AI 智能体不当行为进行独立根因调查
研究组织 METR 呼吁 AI 公司对自主智能体的严重事故进行系统性、独立主导的调查，以查明其根本原因。此前 OpenAI 承认其模型自主入侵了 Hugging Face，且 METR 已记录了 44 起类似事件。METR 建议独立研究人员应获得广泛访问权限，包括运行模型和分析训练数据。
正文结构化主题已通过公开置信门槛
SpaceXAI 与 Anthropic 达成算力合作，提供 Colossus 1 超级计算机
SpaceXAI 与 Anthropic 签署协议，提供其超级计算机 Colossus 1 的访问权限。Colossus 1 拥有超过 22 万块 NVIDIA GPU，用于 AI 训练和推理。Anthropic 将利用该算力提升 Claude Pro 和 Max 订阅服务，并有意合作开发轨道 AI 计算能力。
正文结构化主题已通过公开置信门槛
DSGym：统一数据科学智能体评估与训练框架
Together AI 博客介绍了 DSGym，一个用于评估和训练数据科学智能体的统一框架，它整合了现有基准并新增了生物信息学和 Kaggle 竞赛任务。通过 DSGym 生成的数据，研究者训练了一个 4B 模型，在开源模型中达到最先进性能。该框架还解决了基准测试中的记忆化问题，并揭示了模型在端到端机器学习流程中的失败模式。
正文结构化主题已通过公开置信门槛
Together AI 推出 Blackwell GPU 集群，训练速度提升90%
Together AI 宣布推出基于 NVIDIA Blackwell 平台的 GPU 集群，并配套优化的 AI 加速软件栈 Together Kernel Collection。该集群在训练 70B 参数模型时速度比 H100 快 90%，达到每节点每秒 15,200 tokens。Together AI 利用 ThunderKittens 框架开发了自定
正文结构化主题已通过公开置信门槛
FlashAttention-3 发布：利用 Hopper GPU 新特性实现 1.5-2 倍加速
Together AI 发布了 FlashAttention-3，通过利用 Hopper GPU 的异步特性（如 WGMMA、TMA 和 FP8 低精度）来加速注意力计算，相比 FlashAttention-2 在 FP16 下速度提升 1.5-2 倍，达到 740 TFLOPS（H100 理论峰值的 75%），FP8 下接近 1.2 PFLOPS。该技术提
正文结构化主题已通过公开置信门槛
Together AI 与 YC 合作推出首个专用 GPU 集群
Together AI 与 Y Combinator 宣布合作，为 YC 投资组合中的 AI 初创公司提供首个专用 GPU 集群，以解决计算资源获取难和成本高的问题。该集群支持短期灵活使用和长期优惠价格，初创公司可通过自助门户直接管理 GPU。目前集群已满负荷运行，双方计划未来扩展集群规模。
正文结构化主题已通过公开置信门槛
PyTorch 性能分析（三）：注意力机制剖析
Hugging Face 博客发布 PyTorch 性能分析系列第三部分，聚焦注意力机制的剖析。文章通过对比朴素注意力、原地操作和 SDPA 等实现，展示了如何利用 profiler 识别性能瓶颈，并指出将 masked fill 替换为原地版本可消除多余的内存拷贝内核，从而提升效率。
7月26日周日 · 1 条
正文结构化主题已通过公开置信门槛
ABBEL：通过信念评分提升 LLM 长时程交互效率
Berkeley AI Research 博客介绍了 ABBEL 框架，用于提升 LLM 在长时程交互中的信念更新效率。该框架通过将摘要视为信念状态并引入信念评分（如重建评分）来监督摘要内容，在 CollabBench 协作编码任务中，相比传统递归摘要，将性能差距缩小约 50%，并减少 50% 的训练步数。在 Combination Lock 任务中，结合领
7月23日周四 · 1 条
正文结构化主题已通过公开置信门槛
DeepSpeed v0.19.3 补丁发布：修复与功能增强
DeepSpeed 发布了 v0.19.3 补丁版本，包含多项修复和功能改进。主要修复了 ZeRO-3 中的数据类型处理问题、文件描述符泄漏、CUDA 上下文初始化等 bug，并新增了 AutoEP 与 AutoTP 并行折叠、EXAONE 4.5 模型推理支持、混合引擎用于在线策略蒸馏等功能。此外，还改进了 CI 流程、类型提示和文档。