Google Gemini 4 Argon 缩小与 OpenAI、Anthropic 差距但未明显领先
Google 发布新一代旗舰模型 Gemini 4 Argon,在多项基准上缩小了与 OpenAI、Anthropic 前沿模型的差距,部分指标实现反超,但未取得明显领先。该模型支持最高 100 万输出 token,并新增 Long Decode Continuation 功能以支持长推理。Argon 先向受信任的网络安全防御方开放,随后逐步向开发者、企业和
技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3313 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
Google 发布新一代旗舰模型 Gemini 4 Argon,在多项基准上缩小了与 OpenAI、Anthropic 前沿模型的差距,部分指标实现反超,但未取得明显领先。该模型支持最高 100 万输出 token,并新增 Long Decode Continuation 功能以支持长推理。Argon 先向受信任的网络安全防御方开放,随后逐步向开发者、企业和
NVIDIA 发布技术博客,介绍如何通过 NVIDIA Dynamo-Triton(原 Triton Inference Server)部署 HSTU 生成式推荐模型。该工作流结合 PyTorch AOTI 编译、FlexKV 支持的 KV 缓存、NV embedding cache 和原生 C++ 验证,在 RTX PRO 6000 Blackwell 上
llama.cpp 发布 b11299 版本,主要修复 CLI 在 stdin 到达 EOF 时的退出行为。此前 Windows 上简单输入读取器在 stdin EOF 时会向控制台所有进程广播 CTRL C EVENT,导致监督代理等无关进程被杀;POSIX 及高级读取器则会无限循环打印提示符。本次改动取消该广播,将空读取视为 EOF,并修复了单独输入“/
OpenAI 状态页面报告部分 API 请求出现延迟升高,受影响的服务包括 Responses API 和 Chat Completions API,部分请求可能出现超时。OpenAI 已实施初步缓解措施并观察到延迟改善,随后确认所有受影响服务已完全恢复。
llama.cpp 发布 b11298 版本,主要新增对 mimo 模型 dflash 的支持,包括转换和特征提取功能(PR #29650),由 Sigbjørn Skjæret 参与贡献。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,支持 CUDA、Vulkan、ROCm
llama.cpp 发布 b11297 版本,主要更新为 jinja 模板引擎支持强制类型转换的数组属性(coerced array attributes),并补充了相应测试。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,支持 CUDA、Vulkan、ROCm、SYCL、O
NVIDIA 宣布扩展 xio-sig 项目,在 cuFile 之外新增 cuObject,并与 Google Cloud、Microsoft 合作,同时正式发布 cuObject 客户端与服务器库。NVIDIA 还推出 SCADA Server SDK,让存储厂商构建可响应 GPU 发起请求的 SCADA 服务器,IBM 已用集成 IBM Storage
OpenAI 在 Dev Day 上由 CEO Sam Altman 透露推出 Decisions API,功能与 TypeSafe AI 本月发布的软件自动化模型 Jev 类似,可让 Luna 模型在预设选项中快速做出概率化选择。TypeSafe CEO Diogo Almeida 在 X 上以“克隆战争”调侃回应,并强调其护城河在于合成数据带来的智能密度
llama.cpp 发布 b11294 版本,核心变更是新增 llama prefetch rows 功能,用于按行预取模型数据,并支持 Windows 平台(由 @praneshgo 贡献的移植代码)。该预取仅在 lazy 模式下启用,同时避免在模型代码中直接暴露 llama-mmap,改由 llama-impl 路由。版本附带 macOS、Linux、W
面对2.8万亿参数开源模型Kimi K3的推理难题,海外TPU优化团队Inferact开源tpu-megakernels,用16颗谷歌TPU v7把整个K3装进一个kernel,配合DSpark投机解码,低并发Decode吞吐达709 tokens/s;浪潮信息发布元脑SD200 Ultra超节点AI服务器,紧耦合128芯本土AI芯片,单机承载K3,Toke
Vercel AI SDK 发布 ai@7.0.124 补丁版本,为语音生成和转录功能新增遥测能力,包括提供商用量传播和实验性流式生命周期回调。同时更新了 @ai-sdk/provider、@ai-sdk/provider-utils 和 @ai-sdk/gateway 等依赖包版本。
llama.cpp 发布 b11292 版本,主要修复 CPU 后端在 mul mat 中接受 BF16 作为 src1 的问题:此前 ggml conv 1d dw 在 BF16 卷积核下会构造 F32 im2col 并调用 ggml mul mat,导致 F32×BF16 组合被 CPU 后端拒绝并误报为所有后端不支持。该提交将 BF16 拓宽到 F32
NVIDIA 发布技术博客教程,介绍如何用 NVIDIA NeMo Relay 追踪 Hermes Agent 的行为。教程通过两个示例任务,展示如何利用 ATOF、ATIF 和 OpenTelemetry 三种格式的轨迹数据,检查模型与工具调用、错误、重试、耗时和 token 使用,并结合任务验证结果评估 agent harness 的改动。NeMo Re
Hugging Face 用户 IsValorum 发布了 Qwen3.6-35B-A3B 的 GGUF 量化版本,名为 APEX-I-MiniPlus-V2.1 Abliterated,该版本通过 TPE 多变量帕累托优化移除了拒绝方向,实现零拒绝(uncensored),同时保持推理能力。模型采用自定义张量量化,在 14.66 GB 体积下达到 Q5 K
AWS 博客介绍在 Amazon Bedrock AgentCore Runtime Instances 上构建多智能体音乐制作流水线。该方案用三个智能体(作曲、交付、合规)通过共享 runtimeSessionId 共置在同一 EC2 实例上,共享文件系统并利用实例自带 GPU 运行开源音乐生成模型 ACE-Step。文章对比了 Runtime Insta
Deepseek与华为合作,为华为Ascend芯片开发开源编程工具,核心是源自北京大学的TileLang语言,旨在提供比CUDA更简单的编程模型,并已优化128颗Ascend 950芯片组成的超节点。此举针对中国AI芯片缺乏软件生态的问题,试图削弱Nvidia CUDA的护城河。与此同时,SemiAnalysis测试OpenAI的Jalapeño推理芯片后称
TechCrunch Disrupt 2026 大会宣布,Cerebras Systems 联合创始人兼 CEO Andrew Feldman 将登台演讲,主题为「AI 能否持续扩展」。Cerebras 以晶圆级计算挑战传统 AI 芯片架构,2026 年 5 月 IPO 募资 55 亿美元,并与 OpenAI 签署 2026 至 2028 年部署 750 兆
OpenAI研究员、o1核心作者Noam Brown在最新播客访谈中介绍了其当前研究方向——多智能体(multi-Agent)系统。他透露OpenAI曾用1万个Agent、耗时88小时、消耗1300亿token解出一道千禧年数学难题,但强调多智能体最多只占10%功劳,核心仍是通用且强大的模型本身。他还讨论了推理时计算扩展、多智能体并行化的效率损耗、AI组织与
Cloudflare 在 AI Gateway 中推出 Auto Router 公开测试版,用户将模型设为 cloudflare/auto 后,系统会自动把每个请求路由到能力足够且成本更低的模型。Cloudflare 内部使用 OpenCode 测试显示成本节省最高达 30%,在内部知识工作基准上以 86.6% 成功率实现每成功任务 0.0084 美元,约为
Cloudflare 宣布 Monetization Gateway 进入封闭测试,允许域名所有者通过 HTTP 402 状态码向 AI 代理按次收费,覆盖网站、API、MCP 工具和数据集。该网关通过 Coinbase 的 x402 Facilitator 完成支付验证与结算,使用 Base 区块链上的 USDC 稳定币。Cloudflare AI Gat