OpenAI 开放 Decisions API,决策模型竞争升温
OpenAI 将其 Decisions API 模型向所有用户开放,进入快速、低成本决策模型市场,与 TypeSafe 的 Jev 模型展开竞争。该 API 基于 ChatGPT Luna 重新配置以提升推理速度、降低成本,在 Box、Datadog、Ramp、Speak 等客户试用中替代 LLM 提升吞吐量,Speak 称操作间隔从 1.4 秒降至 0.1
技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3304 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
OpenAI 将其 Decisions API 模型向所有用户开放,进入快速、低成本决策模型市场,与 TypeSafe 的 Jev 模型展开竞争。该 API 基于 ChatGPT Luna 重新配置以提升推理速度、降低成本,在 Box、Datadog、Ramp、Speak 等客户试用中替代 LLM 提升吞吐量,Speak 称操作间隔从 1.4 秒降至 0.1
Voyage AI 发布 voyage-4-nano 文本嵌入模型,属于 Voyage 4 系列,采用 Apache 2.0 许可,支持多语言与 32000 上下文长度。该模型与 voyage-4 系列共享嵌入空间,可在系列内不同模型间直接互换嵌入而无需重建索引,并支持 MRL 灵活维度(2048/1024/512/256)与量化感知训练。官方称其检索质量超
Vercel AI SDK 发布 @ai-sdk/xai@5.0.28 补丁版本,当流在没有收到提供商完成信号就干净结束时,现在会报告 interrupted 状态,保留部分输出而不因中断单独报错。该变更覆盖 OpenAI、Anthropic、Google、Alibaba、Amazon Bedrock、Cohere、DeepSeek、Groq、Mistral
llama.cpp 发布 b11826 版本,主要变更是为 mtmd(多模态)模块新增 MiniCPM-OCR 1.0 支持(PR #30979)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO、Snapdragon 等后端。此次更新使
llama.cpp 发布 b11823 版本,主要变更是针对 glm5 模型优化输入处理,避免使用 sel mask 2d 和 new pool flat 输入。该版本同时提供 macOS、Linux、Windows、Android 等多平台及 CUDA、Vulkan、ROCm、SYCL 等后端的预编译二进制包。
Hugging Face 用户 audreyt 发布了 DeepSeek-V4.1-Flash-Abliterated-GGUF,这是基于社区去审查(abliterated)版 DeepSeek V4.1 Flash 检查点转换的 DwarfStar(ds4)专用 GGUF 量化文件,包含 Maya-XS、Q1、Q2 等多个版本。文件采用 ds4 特有的张量
Google 发布 Agent Compute Engine,为每个 Gemini AI agent 分配一个由 Titanium 芯片隔离的独立 microVM,闲置时自动暂停以释放算力,并通过 VM 间共享内存降低运行成本。该服务已支撑 Gemini,并将在未来数月开放预览;其底层是开源的 Kubernetes 运行时 Agent Substrate,G
AWS 机器学习博客发布技术教程,介绍如何在 Amazon SageMaker AI 上托管 Kokoro-82M 文本转语音模型,通过逐句流式合成降低 AI 语音代理的响应延迟。方案使用自定义容器和双向 WebSocket 传输,在代理生成每个句子时立即合成音频,而非等待完整回复。文章还详细说明了 WebSocket 帧类型处理和会话保持等实现细节。
Modal CEO Erik Bernhardsson 在访谈中介绍,公司在完成 5 亿美元 D 轮融资后估值达 160 亿美元,年化收入突破 10 亿美元,并已启动近 30 亿个沙箱。他解释了 Modal 如何通过聚合数千客户的需求、在底层锁定算力,来应对 GPU 需求随时间波动的问题,并指出传统固定 GPU 合约(即“矩形”合约)与真实负载不匹配。他还提
llama.cpp 发布 b11822 版本,修复了 qwen4exp 模型在 DFlash drafter 场景下的层输入形状不匹配问题:此前 qwen4exp 将 hc-wide 残差以 [n embd, hc, n tokens] 形式暴露为 t layer inp,而 drafter 按 [n embd, n tokens] 读取,导致在 llama
深圳存算一体AI芯片公司九天睿芯宣布半年内累计完成10亿元融资,由美团战投、小鹏汽车旗下星航资本、长存产业基金等投资,资金将用于HBF与SRAM存算融合芯片研发流片及MPM软件栈建设。该公司以SRAM存算一体和HBF为技术主线,产品覆盖HBF SSD、ADA300系列芯片、ADA400推理板卡及AI推理服务器,并已与vivo、荣耀、联想等建立端侧合作。此举反
科大讯飞发布端云一体大模型讯飞星火X2.6,包含云端293-A30B模型和端侧X2.6-4B模型(后者已开源),基于全国产算力训练,云端模型支持百万token上下文,输入价格0.9元/百万tokens,部分价格低于DeepSeek-V4.1-Flash。同时发布语音基座模型SparkAudio 1.0、WinWork数字员工平台、讯飞星光教育助手及AI录音环
NVIDIA 在 Hugging Face 发布 Nemotron 3.5 Super VL 的 BF16 全精度版本,这是一个面向推理、编码、工具调用、文档与视频理解的视觉语言模型。模型采用 Mamba-2、MoE 与注意力混合架构,总参数 120B、激活参数 12B,支持最长 1M token 上下文,并可通过 MTP 实现原生投机解码。该版本面向定制化
llama.cpp 发布 b11821 版本,重构了 Intel XMX 矩阵引擎上的多列 mul mat vec q 实现,面向 SYCL 后端,覆盖 2 至 80 个激活列,主要服务投机解码验证与短提示批次场景。该改动新增融合 gate/up 内核(支持 SWIGLU/GEGLU),并加入两个环境变量控制最大列数;在 B70 上 Q4 K M 的 tg1
AWS 机器学习博客发布技术文章,介绍在 Amazon SageMaker AI 上部署 Kokoro-82M 文本转语音(TTS)模型的方法。文章指出,TTS 工作负载不适合用默认自动扩缩指标,因此改用 SageMaker 原生发布的 ConcurrentRequestsPerModel 指标,并通过实测两个参数——单实例在 SLO 内可承受的最大并发 Q
NVIDIA 在 GTC Berlin 宣布正式支持八节点 DGX Spark 集群,将统一内存扩展至 1TB,可本地运行前沿级模型,包括 Z.ai 的完整 GLM 5.3(753B)。NVIDIA Sync 的 Cluster Assistant 负责集群设置与设备管理,八节点支持将于年底推出。基准测试显示,八节点集群上 GLM 5.3 Flash 生成速
AI 初创公司 Recursive 发布了其首个语言模型 Flint,该模型在内部 AI 系统 Eureka Machine 的参与下完成开发,Eureka Machine 自主提出想法、运行实验并评估结果。Flint 采用 400 亿总参数、25 亿激活参数的混合专家架构,面向本地硬件上的智能体编程任务优化,以 Apache 2.0 许可证在 Huggin
Langfuse 发布 v4.68.0,主要新增 AI Gateway 相关能力,包括按连接记录 socket 写入与输出完整性、全局启用开关、自托管 JWT 公钥派生、成员自助创建网关 API 密钥以及服务账号签发密钥等。同时为 MCP 增加 listLlmConnections 工具,Topics 结果新增 Treemap、Grid 和聚类图视图,并修复
llama.cpp 发布 b11819 版本,新增对 Nemotron 模型的支持,包括非标准 GQA、BPE 分词器以及 domyn-small pre-type。同时,gguf-py 将 Metaspace 的 prepend scheme 写入 GGUF 元数据,词表模块解析该字段并在反分词时使用。该版本同步提供 macOS、Linux、Windows
第二十二届CCF全国高性能计算学术大会(CCF HPC2026)于10月17-20日在深圳国际会展中心举办,与2026世界算力博览会同期同馆举行,由中国计算机学会主办、国家超级计算深圳中心等承办。大会汇聚20余位中外院士及500余位专家学者,设置11场特邀报告、50场主题论坛,并发布HPC+AI超智协同开放社区和高通量以太网全栈式国产智算网络等成果。会议聚焦