AWS 推出基于 Bedrock AgentCore 的多模态 WhatsApp 订餐助手部署方案
AWS 发布了一篇技术博客,介绍如何使用 Amazon Bedrock AgentCore 和 Amazon Nova 2 部署一个多模态 WhatsApp 订餐助手。该助手支持文本、语音笔记和语音通话三种渠道,共享后端和跨渠道记忆,可识别同一客户。系统架构包括 API Gateway、Lambda、SQS、DynamoDB 等 AWS 服务,并通过 MCP
技术方向 · 文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品 · 共 1350 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
AWS 发布了一篇技术博客,介绍如何使用 Amazon Bedrock AgentCore 和 Amazon Nova 2 部署一个多模态 WhatsApp 订餐助手。该助手支持文本、语音笔记和语音通话三种渠道,共享后端和跨渠道记忆,可识别同一客户。系统架构包括 API Gateway、Lambda、SQS、DynamoDB 等 AWS 服务,并通过 MCP
llama.cpp 发布 v0.4.0 版本,新增对 Qwen3.8-Flash-Next、Nemotron-3-Puzzle 等模型的支持,并引入按需张量读取、服务器每槽上下文限制和视频输入选项。核心更新包括 ggml 0.23.0 的稀疏闪存注意力与 RDMA 支持,以及多项多模态和服务器功能改进。
AWS 博客介绍了如何利用 NVIDIA Cosmos 3 在 SageMaker HyperPod 上构建物理 AI 模型工厂。Cosmos 3 采用混合 Transformer 架构,统一处理视频、图像、动作和声音,支持前向动力学、逆动力学和动作策略三种模式。该设计使数据生成、后训练和评估可在同一 GPU 集群上运行,提高资源利用率。文章提供了端到端示例
Primitive AI 发布了 Qwen3.8-Flash-Next 的 NVFP4 量化版本,使 180B 参数的模型能在单张 96GB Blackwell GPU 上运行。该量化模型在 9 项基准测试中平均得分 92.2,支持 MTP 投机解码,并提供了详细的部署方案,包括 CPU 卸载和 NVMe 映射选项。
字节跳动旗下Seed研究团队发布了新一代视频生成模型Seedance 2.0,采用统一的多模态音视频联合生成架构,支持文本、图像、音频和视频四种输入模态,并具备多模态参考和编辑能力。相比1.5版本,该模型在复杂交互和运动场景的生成可用性、物理准确性、视觉真实感和可控性方面有显著提升,支持15秒多镜头音视频输出和双声道音频。官方称其在多主体交互和复杂运动场景中
TechCrunch报道称,AI生成的餐厅菜单因训练数据狭窄且追求“讨喜”美学,导致食物图像呈现诡异完美、同质化的外观,引发顾客不适。专家指出,这源于模型对快餐连锁菜单风格的模仿和反复编辑导致的“收敛”现象,虽非模型崩溃,但会降低输出质量。研究显示,AI食物图像引发“恐怖谷”效应,加剧了公众反感,并引发对AI内容真实性及证据可信度的担忧。
本文提出TopKSigLIP,一种用于乳腺X线摄影的视觉-语言模型,通过TopK-Patch模块学习采样高分辨率补丁以解决高分辨率与稀疏病灶问题,并采用Sup-sigmoid损失替代对比损失以应对报告同质性。该模型在零样本评估中优于现有开源乳腺和通用医学VLM,在密度评估、BI-RADS分类、发现亚型和癌症预测等任务上表现更佳,且TopK-Patch模块的病
这篇立场论文认为,视觉学习中无标签并不等于无人类监督,因为数据整理方案和训练目标中嵌入了大量人类先验。作者指出,当前“无监督”术语过于笼统,掩盖了不同方法间的差异,并观察到自2021年以来CV顶会中标题含“无监督”的论文数量下降。他们呼吁社区明确披露数据选择和训练目标中的先验,以改进学术交流、确保公平比较并保留方法论多样性。
字节跳动旗下 Seed 研究团队正式发布 Seed2.0 系列模型,针对大规模生产部署和多模态理解进行了系统优化,提升了视觉感知、复杂指令执行和推理能力,并提供 Pro、Lite、Mini 及代码模型等多种规格。Seed2.0 在多项公开基准上取得领先成绩,其 Pro 和代码模型已在豆包和 TRAE 上线,API 已通过火山引擎开放。
字节跳动旗下Seed团队发布Seedream 5.0 Lite图像生成模型,相比4.0版本在理解、推理和生成能力上全面提升,并引入实时搜索增强功能。该模型采用统一多模态架构,能更好地理解用户意图和世界知识,适用于信息可视化、视觉推理等场景。目前已在Dreamina AI和火山方舟体验中心上线。
新版GPT Image 2.5生图模型已泄露,能伪造GPT-6发布会和奥特曼推文,文字和图像细节逼真。该模型改进了GPT Image 2的噪点问题,生成速度快,照片更真实,人脸和文字不易变形。目前尚未正式发布,但已在ChatGPT中弹出提示,并在LMArena竞技场以匿名模型出现。
pearsonkyle 发布了 Qwen3.8-27B 的 GPTQ W4A16 量化版本,基于 Qwen/Qwen3.8-27B,使用 32K 上下文校准,支持 vLLM 直接服务。该模型将 90.5% 参数量化为 int4,但嵌入和输出头保持 bf16,文件大小 18.1 GiB。模型内置 MTP 草稿头实现 1.71 倍解码加速,并保留视觉塔支持图像输
在IFA 2026上,NVIDIA联合微软及合作伙伴宣布加速本地AI推理,推出RTX Spark迷你PC,并简化Hermes Agent、OpenClaw和Perplexity Portable Computer等应用的本地模型设置。同时发布了多项模型更新,包括Nemotron 3.5 Lightning、GLM-5.3-Flash、Qwen3.8系列等,并
Google 正在为 Gmail、Docs 和 Keep 推出 AI 语音助手模式,分别称为 Gmail Live、Docs Live 和 Keep Live,允许用户通过对话管理应用。这些功能支持免提获取信息、总结和转录,例如 Gmail Live 可从收件箱提取细节,Docs Live 可将想法格式化为结构化文档,Keep Live 可自然转录笔记。该功
国立清华大学与NVIDIA联合研究将Gemini 2.0、GPT-4.1等主流VLM大模型置于《我的世界》等具身任务中评估其视觉裁决能力,发现Gemini综合表现最佳,开源小模型在特定任务中反超。针对直接调用大模型的高成本和绝对打分缺陷,团队提出VLM-AR3L框架,通过双奖励融合与离线蒸馏将API查询降低约20倍,并在复杂任务中超越人类手写奖励。该研究为大
中山大学团队提出 SpatialSV 方法,通过在多模态大模型隐藏层引入显式 3D 几何监督(深度图、射线图、点云图),提升空间智能,并利用开源 3D 模型自动生成监督信号,减少 50% 人工文本标注。实验表明该方法能可视化模型内部表征,诊断空间推理缺陷,并在半监督条件下接近全量标注性能,为具身智能训练提供低成本路径。
Hugging Face 博客介绍了 Puffin-World,一个统一的多模态世界模型,通过原生表示物理(重力场和纬度)、几何(深度)和外观(RGB)状态,实现相机到世界的理解、可控文本到图像生成、3D 世界生成和重建。该模型采用 Omni-Camera 表示,结合绝对和相对相机信息,并利用 Puffin-16M 数据集进行扩展,旨在推动多模态模型从 2D
美团技术团队在2026年中国互联网大会上展示了美团智播数字人直播解决方案,该方案融合大模型、数字人与多模态交互技术,实现高保真形象生成、自然动作驱动、语音手势协调及高效推理部署,使数字人直播月日均GTV同比增长82.12%,开播场次提升11倍。团队自研的SDIP、SREdit、MoTiGA、StreamingTalk及Glance2Gaze等技术分别被ACM
Cohere 于 2026 年 8 月 27 日发布了 Parse 5,一个 23 亿参数的多模态视觉语言模型,旨在从复杂企业文档(如 PDF)中提取结构化数据并转换为 Markdown,同时提供边界框坐标用于视觉定位。该模型基于开源的 North-Micro-Vision-Instruct 架构,在 ParseBench 基准上平均得分 79.2,优于 M
清华大学、微软和上海交通大学的研究者提出了 Skim and Skip (SAS) 框架,用于提升多模态检索的效率。该框架通过基于 [EOS] 的 token 级信息选择和自适应深度推理,在 12 个 MMEB 检索任务上保留了约 99% 的密集基线性能,同时实现了最高 1.64 倍的端到端加速和 66.3% 的 FLOPs 减少。