AWS 团队开源 Deep Insight:多智能体系统生产落地的五大挑战与解法
AWS 解决方案架构团队构建了生产级多智能体系统 Deep Insight,用于将 CSV 数据与自然语言提示自动转化为带引用的分析报告。该系统由 Coordinator、Planner、Supervisor、Coder、Validator、Reporter、Tracker 等分层智能体协作完成分析、图表生成与校验。文章作为三篇系列的第一篇,总结了多智能体系
技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3308 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
AWS 解决方案架构团队构建了生产级多智能体系统 Deep Insight,用于将 CSV 数据与自然语言提示自动转化为带引用的分析报告。该系统由 Coordinator、Planner、Supervisor、Coder、Validator、Reporter、Tracker 等分层智能体协作完成分析、图表生成与校验。文章作为三篇系列的第一篇,总结了多智能体系
llama.cpp 发布 b11803 版本,主要变更是新增 Flint 模型支持(FlintForCausalLM),该 PR 由 Sigbjørn Skjæret 参与、并借助 Codex 辅助完成。同时该版本照例提供 macOS/iOS、Linux、Android、Windows 等多平台多后端的预编译二进制包。对使用 llama.cpp 本地推理的用
Claude Code 发布 2.1.307 版本更新,新增 /claude-api api-version 命令以将 Claude API 代码迁移至 2026-10-21 版本,并新增 claude code.safety event OpenTelemetry 事件用于记录工具调用被权限规则、安全检查、钩子或沙箱拦截的情况。该版本还修复了大量问题,涉及
llama.cpp 发布 b11802 版本,主要修复了 jinja 模板中命名空间属性被字典方法遮蔽的问题(PR #30941)。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。此次更新属于常规缺陷修复与构建发布,对使用
AWS 机器学习博客介绍了一种基于 Strands Agents 构建的自适应智能体智能框架(AAIF),该框架用小型语言模型(llama3.2:1b)作为编排层,将常规任务在本地通过 Ollama 处理,复杂任务则路由到 Amazon Bedrock 上的云端大模型。文章以物联网监控为参考场景,展示了该架构可运行于树莓派等边缘设备、纯云端或混合部署,旨在降
llama.cpp 发布 b11800 版本,为 QSA 掩码新增融合算子,并将原本仅覆盖 qwen4exp 与 glm5-next 池化 QSA 选择的 k-pool mask 算子泛化为 ggml top k mask,同时支持 DSA 模型与 DeepSeek V4 CSA 手工构建的 top-k 掩码。新增 llm graph context::bu
Anthropic 就 Claude Fable 5 性能下降发布状态更新,称正在调查该模型请求错误率升高的问题,事件影响 claude.ai、Claude API、Claude Code 和 Claude Cowork。随后状态更新为已解决,表示影响其他 Claude 模型的问题也已修复。
AI 初创公司 Recursive 发布首个免费编程模型 Flint,该模型可在笔记本上离线运行,采用 Apache 2.0 开源协议,并已上线 Hugging Face。Flint 的开发过程大量借助公司自研的自动化研究系统 Eureka Machine,小团队不到四个月即从零完成构建。Flint 采用混合专家架构,总参数 400 亿、单次仅激活 25 亿
llama.cpp 发布构建版本 b11799,主要变更为 SYCL 后端新增 q8 快速反量化(#30775)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新可提升 Intel GPU 上量化模型的推理效率。
高通在 Hugging Face 发布面向骁龙等高通设备优化的 OpenAI CLIP 模型(ViT-B/16,1.5 亿参数),提供 ONNX、QNN DLC、TFLite 等多种预导出格式及 float、w8a16 精度版本。模型通过 Qualcomm AI Hub Models 库支持自定义导出,官方性能表显示其在多款骁龙与 Dragonwing 平台
AI基础设施初创公司Fireworks AI正初步洽谈新一轮融资,拟以300亿至400亿美元估值融资,较今年7月D轮175亿美元估值提升约71%至129%。该公司由7名前Meta和谷歌工程师创立,CEO乔琳为复旦校友,英伟达参与了其D轮投资。Fireworks AI年化营收已超10亿美元,每日处理超40万亿Token,但10月9日披露的内部凭证入侵事件导致少
腾讯于10月20日升级元宝搜索,并通过腾讯云向个人开发者和企业提供Skill、MCP、API三种接入方式的搜索API服务,每月提供2000次免费额度。元宝搜索已构建千亿级索引,覆盖13个垂直行业和157个权威信源,日均调用量达数亿次,支撑WorkBuddy、ima等50多个腾讯内部业务。此次开放意味着腾讯将内部打磨的搜索基础设施转化为面向Agent开发者的通
llama.cpp 发布 b11798 版本,主要变更是 jinja 模板支持十六进制字符串转义(PR #30929)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新属于推理框架的细节改进,影响使用 jinja 模板渲染提示
llama.cpp 发布 b11797 版本,主要变更为 ggml-opencl 后端新增 IM2COL 3D 支持,并统一 kernel 与 host 的数据类型、修复旧款 Adreno GPU 的兼容问题。该提交由高通工程师参与贡献,同时版本照例提供 macOS、Linux、Windows、Android 等多平台及 CUDA、Vulkan、ROCm、S
IBM 在 Hugging Face 博客发布 Granite Switch 4.1(8B 与 30B),将通用决策 aLoRA、安全决策 Guardian aLoRA 以及 OpenASR 榜单上最快的 ASR 模型 Granite-Speech-5.0-Turbo-CTC 组合进单一托管端点,显存占用与基础模型相当。由于采用缓存高效的 Activated
AI 初创公司 Inception 发布扩散式语言模型 Mercury 3,采用先草拟整体答案再逐步精炼的生成方式,而非逐词输出。Inception 称其在 Nvidia GPU 上每秒生成超 1000 个 token,速度是 GPT-6 Luna 和 Claude Haiku 5.5 的 4 到 8 倍,并在内部 12 项基准中赢下 8 项,但部分长代码和
个人开发者 LuffyTheFox 在 Hugging Face 发布 Qwen3.6-35B-A3B-Uncensored-Genesis-GGUF,基于 HauhauCS 的无审查 Qwen3.6 MoE 多模态模型,声称通过名为 Genesis 的后训练张量修复算法(基于 Marchenko–Pastur 分布与自定义 SVD)降低训练噪声、修复零块与
研究团队发布 Matrix-Game 4.0,将游戏逻辑与视觉合成分离:轻量游戏引擎维护世界状态并执行交互规则,多模态编码智能体把玩家想法转成游戏代码与动态场景描述,自回归视频渲染器将低多边形代理画面转为高保真视觉。系统在单张 NVIDIA RTX5090 上实现 480p、60 FPS 实时游玩,按键到显示延迟 112ms,并开源代码、模型权重与低多边形游
Software Mansion 在 Hugging Face 发布了 lfm-2.5 系列模型,这些模型是 LiquidAI 的 LFM2.5 模型经 ExecuTorch 导出后的 .pte 程序,可在设备端运行。该系列覆盖 350M、1.2B、2.6B 文本模型以及 450M、1.6B 视觉语言模型,提供 MLX、XNNPACK、Vulkan 后端和
NVIDIA 与华盛顿大学蛋白质设计研究所联合发布开源模型 RFD4-Proteina,可同时设计蛋白质序列与全原子结构,并通过奖励引导的推理时搜索聚焦高潜力候选。该模型基于残基级潜在表示,采样步数从约400步降至60步,速度和内存效率优于 RFD3。教程以 PD-L1 为靶点演示设计蛋白结合体候选,并提供开源模型与 NIM 微服务两种使用方式。