Together AI 解读推理服务 99.9% 可用性的真实含义
Together AI 发布博客文章，解释推理服务中 99.9% 可用性的实际含义，指出不同可靠性等级对应不同的故障域和架构要求。文章强调，99.9% 需要跨数据中心部署和实时流量路由，而非冷备。Together AI 为 Cursor 等客户提供推理服务，并分享了其架构选择和运维经验。
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3343 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
8月3日周一 · 8 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
Together AI 增强 GPU 集群：可靠性提升与运维控制
Together AI 发布了 GPU 集群的多项更新，包括被动健康检查、自动节点修复、Slinky 2.0 以及新的运维控制功能，旨在提升大规模训练和推理的可靠性。这些更新通过检测硬件故障、自动修复节点、增强 Slurm 稳定性，并提供 OIDC、启动脚本等自定义选项，帮助团队更高效地管理生产集群。
正文结构化主题已通过公开置信门槛
Together AI 首日上线 Thinking Machines Lab 多模态模型 Inkling
Thinking Machines Lab 发布了新模型 Inkling，这是一个多模态混合专家模型，支持文本、图像和音频输入，并具有可控推理能力。Together AI 在发布当天即在其推理平台上提供该模型，并优化了其推理内核以支持新架构。Inkling 在科学推理、数学、编程等基准测试中表现强劲，总参数达 975B，激活参数 40B，上下文窗口 1M。
正文结构化主题已通过公开置信门槛
Together AI 推出生产级推理平台更新及自定义训练测试版
Together AI 发布了其推理平台的重大更新，提供对性能、成本和质量的完全控制，支持金丝雀发布、蓝绿部署、A/B 测试和自动回滚等功能，并宣布了自定义训练的封闭测试版。该平台旨在帮助团队在生产环境中运行开源权重模型，同时避免从零构建推理栈的复杂性。Together AI 每月处理超过 4000 亿 token，其新平台整合了研究、模型优化和平台工程团队
正文结构化主题已通过公开置信门槛
Together AI 推出专用模型推理，实现容量感知路由
Together AI 平台推出了专用模型推理功能，由端点、部署和配置三部分组成，并通过基于容量的流量分配实现路由。该架构支持 A/B 测试、影子实验和零停机变更，且配置不可变，确保行为稳定。文章详细解释了权重与副本数的关系，以及如何通过配置选择优化延迟或吞吐量。
正文结构化主题已通过公开置信门槛
Together AI 推出 LLM 推理自动扩缩容端点
Together AI 为其专用模型推理平台推出了基于推理引擎原生指标（如 in-flight 请求数、TTFT、GPU 利用率、token 吞吐量）的自动扩缩容功能。用户可设置副本范围、选择指标和目标值，并调整扩缩容窗口以平衡延迟和成本。文章通过实验对比了不同扩缩容策略，并提供了选择合适指标的建议。
正文结构化主题已通过公开置信门槛
ThunderAgent：实现 2 倍加速的智能体推理系统
Together AI 联合多所大学推出 ThunderAgent，一种面向智能体推理的高吞吐调度系统。它通过程序级调度缓解 KV 缓存抖动，在单节点上实现 2.5 倍吞吐提升，8 节点集群加速 2.4 倍，并保持近线性扩展。该系统已作为 Spotlight 论文被 ICML 2026 接收。
正文结构化主题已通过公开置信门槛
Together AI 在 ICML 2026 展示全栈前沿研究
Together AI 在 ICML 2026 上发表了九篇论文，覆盖从智能体到 GPU 内核的全栈研究。其中，Aurora 论文提出的自适应投机解码已作为 ATLAS 投机器在生产环境中部署。研究还包括 DSGym 数据科学智能体评估框架、ThunderAgent 智能体工作负载优化、TTT-Discover 开放模型科学发现，以及 RARO 无验证器强化
8月2日周日 · 12 条
正文结构化主题已通过公开置信门槛
llama.cpp b10229 发布：修复 OpenCL 引用计数问题
llama.cpp 发布 b10229 版本，主要修复了 OpenCL 后端中 ggml backend opencl init() 未正确递增 ref count 的 bug，该问题会导致程序结束时 profiling 数据无法刷新写入。此版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件。
正文结构化主题已通过公开置信门槛
llama.cpp b10228 发布，支持 DeepSeek V4 MTP 与 DSpark
llama.cpp 发布了 b10228 版本，主要更新是支持 DeepSeek V4 的 MTP（多 token 预测）和 DSpark 特性。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，并包含 UI 组件。
正文结构化主题已通过公开置信门槛
Meta AI 用第二智能体作为记忆教练，保持长任务不跑偏
Meta AI 研究人员提出了一种双智能体记忆系统，通过一个独立的记忆智能体监控任务进度，并在适当时机向主智能体发送提醒，以解决长任务中的行为状态衰减问题。该系统在 Terminal-Bench 2.0 和 tau2-Bench 基准测试中显著提升了任务完成率，并优于现有记忆系统。
正文结构化主题已通过公开置信门槛
DAS框架：分布感知投机解码加速RL训练rollout高达50%
Together AI 博客介绍了分布感知投机解码（DAS）框架，用于加速强化学习（RL）后训练中的 rollout 阶段，最高可提速 50% 且不改变模型输出。DAS 通过自适应后缀树草稿模型和长度感知调度策略，解决了长尾生成导致的 GPU 利用率低和同步瓶颈问题。实验表明，在数学推理和代码生成任务上，DAS 分别实现了超过 50% 和约 25% 的 ro
正文结构化主题已通过公开置信门槛
llama.cpp b10227 发布：新增 Qwen3 专用解析器
llama.cpp 发布 b10227 版本，主要新增了 Qwen3 专用解析器，支持带标签的思维工具解析、工具调用省略及 Qwen3-Coder 的注释处理。该版本提供了适用于 macOS、Linux、Android、Windows 和 openEuler 的多种预编译二进制文件，涵盖 CPU、Vulkan、CUDA、ROCm 等后端。
正文结构化主题已通过公开置信门槛
xAI 免费开放 Grok-2 并推出新功能与 API 更新
xAI 宣布将改进后的 Grok-2 模型免费开放给所有 𝕏 平台用户，新模型速度提升三倍，并增强了准确性、指令遵循和多语言能力。同时，xAI 推出了 Grok 按钮、Aurora 图像生成模型等新功能，并更新了企业 API，新增 grok-2-1212 和 grok-2-vision-1212 模型，降低了 API 价格。
正文结构化主题已通过公开置信门槛
llama.cpp b10225 发布：优化 MiMo V2 MTP 张量加载
llama.cpp 发布 b10225 版本，主要更新为仅在需要时加载 MiMo V2 MTP 张量，以优化内存使用。该版本提供了适用于 macOS、Linux、Windows、Android 和 iOS 的多种预编译二进制文件，支持 CPU、Vulkan、CUDA、ROCm 等多种后端。
正文结构化主题已通过公开置信门槛
llama.cpp b10226 发布：修复 SYCL iGPU 分类
llama.cpp 发布 b10226 版本，主要修复了 SYCL 后端对集成 GPU（iGPU）的分类问题。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，并支持多种后端如 CUDA、Vulkan、ROCm、OpenVINO 等。
正文结构化主题已通过公开置信门槛
llama.cpp b10224 发布：WebGPU 支持 f16 repeat
llama.cpp 发布 b10224 版本，主要更新为 ggml-webgpu 添加对 f16 repeat 操作的支持。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，涵盖 CPU、Vulkan、CUDA、ROCm 等多种后端。
正文结构化主题已通过公开置信门槛
网易有道全线产品接入DeepSeek-V4-Flash正式版
网易有道宣布旗下AI Agent产品矩阵已完成DeepSeek-V4-Flash正式版的全面接入，覆盖LobsterAI、有道词典、有道翻译、Hi Echo等产品。此次升级基于DeepSeek-V4-Flash-0731模型，该模型与预览版结构一致，但通过后训练优化显著提升了Agent能力。升级后，LobsterAI运行更经济，翻译和口语产品功能更精准，Th
正文结构化主题已通过公开置信门槛
llama.cpp b10223 发布：修复 CI 错误并更新多平台构建
llama.cpp 发布 b10223 版本，主要修复了部分 CI 错误。该版本提供了适用于 macOS、Linux、Android、Windows 和 openEuler 等多平台的预编译二进制文件，支持 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等多种后端。
正文结构化主题已通过公开置信门槛
SpaceXAI 与 Anthropic 达成算力合作，提供 Colossus 1 超级计算机
SpaceXAI 与 Anthropic 签署协议，提供其超级计算机 Colossus 1 的访问权限。Colossus 1 拥有超过 22 万块 NVIDIA GPU，用于 AI 训练和推理。Anthropic 将利用该算力提升 Claude Pro 和 Max 订阅服务，并有意合作开发轨道 AI 计算能力。