返回主题地图

多模态

技术方向 · 文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品 · 共 1351 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

8月22日周六 · 3 条
正文结构化主题已通过公开置信门槛
THE DECODER模型发布

Deepseek发布实验性视觉模型,智能体基准接近Opus 4.8

中国AI公司Deepseek发布了实验性多模态模型V4-Flash-Vision-Exp,在图像理解基础上保持文本性能,其内部基准测试显示在智能体任务上接近Opus 4.8。该模型支持多种图像输入方式,并兼容OpenAI和Anthropic的API,同时更新了Harness框架。定价与V4-Flash一致,单次请求最多可处理600张图像。

正文结构化主题已通过公开置信门槛
智东西商业

阿里多模态模型全面开花,跻身全球第一梯队

阿里巴巴在过去一个月密集发布大语言、图像、语音、视频、音乐等多模态模型,性能均跻身国际第一梯队,其中Qwen3.8-Max在Agentic榜单登顶全球第一,Qwen系列全球下载量突破30亿次。多模态模型已进入商业化场景,带动阿里云AI相关收入快速增长,AI相关产品收入连续12个季度三位数同比增长。阿里正通过全栈AI底座和多模态布局,推动AI从技术投入转化为规

正文结构化主题已通过公开置信门槛
智东西模型发布

DeepSeek发布多模态模型V4-Flash-Vision-Exp,API价格低至0.001元/图

DeepSeek于8月21日发布多模态视觉理解模型DeepSeek-V4-Flash-Vision-Exp,并上线API平台,支持图像理解,单张图片最高费用0.001152元。该模型在视觉Agent基准上接近Opus 4.8,同时兼容多种API格式,并推出免费的Files API。此举补齐了DeepSeek在多模态API方面的空白,可能降低多模态应用的成本门

8月21日周五 · 17 条
正文结构化主题已通过公开置信门槛
Strands Agents SDK Releases一手来源产品发布

Strands Agents SDK TypeScript v1.14.0 发布

Strands Agents SDK 发布了 TypeScript 版本的 v1.14.0 更新,包含多项新功能、修复和文档改进。主要新功能包括音频内容块、文件内存存储、上下文管理器卸载策略、工具上下文中的执行范围取消、代理作为工具委托、MCP 客户端 OAuth 认证以及 Anthropic 提示缓存支持。修复了多个与 Bedrock 缓存、多代理令牌计数

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论模型发布

商汤开源SenseNova U1.5 Lite:支持超长指令与原生4K视觉创作

商汤科技正式开源轻量级多模态大模型 SenseNova U1.5 Lite,该模型支持3-4k超长指令、原生4K输出和精细图像编辑,旨在提升真实视觉创作任务的稳定性和可控性。模型采用NEO-unify统一架构和MOPD蒸馏技术,以8B参数实现高性价比,并已在GitHub、Hugging Face等平台开放。

正文结构化主题已通过公开置信门槛
Spring AI Releases一手来源产品发布

Spring AI 2.0.1 发布:新增音频流与工具调用限制支持

Spring AI 发布 2.0.1 版本,包含多项新功能和错误修复。新功能包括支持 OpenAI 音频流、可配置工具调用限制、Google GenAI 的 ToolChoice 支持、Google 图像生成支持等。错误修复涉及 Redis 聊天内存、PDF 文档读取、OpenAI 流关闭等问题。该版本还移除了弃用的 Mistral AI 聊天模型,并更新了

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Hugging Face 发布 tiny-random-gemma4 测试模型

Hugging Face 上出现了一个名为 optimum-intel-internal-testing/tiny-random-gemma4 的测试模型,基于 google/gemma-4-E2B-it 生成,用于内部测试。该模型通过脚本配置了极小的隐藏层大小和注意力头数,并包含文本、音频和视觉模块。脚本还演示了使用 OpenVINO 和 Optimum

正文结构化主题已通过公开置信门槛
FastGPT Releases一手来源产品发布

FastGPT v4.16.1 发布:沙盒镜像更新与工具 Schema 迁移

FastGPT 发布 v4.16.1 版本,主要更新包括:Agent Sandbox 镜像地址改为完整运行态镜像,并支持自定义 apt 源;MCP/HTTP 工具的 JSON Schema 统一为字符串存储,需按顺序执行迁移脚本;新增第三方发布渠道支持多模态文件、音频转录和引用,支持团队安装系统插件(进程模式)。此外,优化了 S3 key 命名、修复了多个工

正文结构化主题已通过公开置信门槛
量子位产品发布

明略科技携手海康机器人亮相世界机器人大会,布局具身智能

明略科技与海康机器人联合参展2026世界机器人大会,展示餐饮清洁、工业物流、智能巡逻等商业服务场景的具身智能解决方案。明略科技正式布局具身智能赛道,其CEO吴明辉在大会主论坛发表演讲,强调机器人下半场的关键是“大脑”,并计划通过开源平台Octo实现人机协同的组织智能。此次合作旨在将数字世界的Agent能力延展至物理世界机器人,推动商用服务机器人的规模化应用。

正文结构化主题已通过公开置信门槛
量子位产品发布

雷鸟iO发布:轻至34g,全天候主动式AI眼镜

雷鸟创新发布全新雷鸟iO系列AI眼镜,主打轻至34g的日常佩戴设计、两天续航及全天候主动式AI功能,支持DeepSeek V4 Pro等大模型,并强调隐私保护。该产品定价1996元起,旨在推动AI眼镜从尝鲜品走向大众日常使用。

正文结构化主题已通过公开置信门槛
量子位观点

Jeff Dean离职后首次公开访谈:锐评谷歌,披露新公司计划

Jeff Dean在斯坦福2026 Frontier&Pioneer Symposium上首次公开访谈,谈及离开谷歌的原因、Gemini早期在Coding上的不足、TensorFlow的设计失误,以及新公司Discovery Loop的目标——通过自动化科学实验循环实现递归自我改进。他还指出AI在网络安全上的能力已接近顶级人类攻击者水平,并分享了快速浏览论文

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

Holtercare-Bench:评估长期动态心电图分析的多模态基准

浙江大学研究团队提出了Holtercare-Bench,一个用于评估长期动态心电图分析的多模态基准,并配套发布了包含788份临床Holter记录和22,980个问答对的Holtercare-23K数据集。该基准通过信号-视频-文本三模态对齐,评估模型在时间定位、临床诊断和全局总结方面的能力。零样本评估显示主流多模态大模型在处理超长病理序列时存在显著性能差距,

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

边际覆盖率无法保证零样本VLM在偏移下的类别条件安全性

该研究审计了零样本视觉语言模型(如CLIP、OpenCLIP、SigLIP)在分布偏移下使用分裂共形预测的类别条件安全性。研究发现,边际覆盖率看似较高(如ImageNet-Sketch上约0.86),但最差类别的覆盖率可降至0,且10-12%的类别低于有限样本零下限。源域诊断无法预测失败,源端Mondrian校准不迁移,目标端类别校准虽提升尾部但需每类标签且

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

大语言模型在心理健康领域的应用、创新与伦理挑战系统综述

本文是一篇关于大语言模型在心理健康领域应用的系统综述,涵盖了社交媒体分析、临床对话代理、治疗支持工具、提示工程、多模态学习及伦理考量等方面。综述整合了跨学科研究,利用社交媒体帖子、电子病历和多模态数据实现抑郁症早期检测、自杀风险评估和个性化治疗支持,同时强调了提示工程和可解释性的重要性。文章还讨论了多模态融合技术的进展以及伦理、社会技术和监管方面的挑战,倡导

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

CAViAR:用于真实场景细粒度事故推理的因果视频数据集

CAViAR 是一个由 NEC 实验室发布的新型因果视频数据集,包含 2,249 个真实行车记录仪事故视频,并标注了环境条件、事故类型、因果解释、责任方和违规规则等信息。通过评估多个视觉语言模型,研究发现现有模型在感知任务上表现较好,但在事故类型和责任推理上存在明显不足,揭示了感知与推理之间的差距。该数据集和代码已公开,旨在推动自动驾驶安全领域的多模态推理研

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

ClustRS:无需训练的鲁棒视觉token剪枝算法

法国雷恩大学、CNRS、INRIA、IRISA和Vsora公司联合提出ClustRS,一种无需训练的视觉语言模型(VLM)token剪枝算法,包含注意力加权聚类和残差收缩去噪两个组件。实验表明,在LLaVA 1.5 7b上,ClustRS在极端噪声和token条件下(减少97%至16个token)比现有方法性能提升高达20%,并在LLaVA-OneVisio

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10541 发布:新增多模态投影器设备参数

llama.cpp 发布 b10541 版本,新增 --mmproj-device 参数及 MTMD BACKEND DEVICE 环境变量,用于指定多模态投影器的后端设备,并支持 -mmdev 短标志。该版本提供多平台预编译二进制,包括 macOS、Linux、Windows、Android 等,并支持多种后端如 Vulkan、CUDA、ROCm 等。

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

TomoroAI 发布多模态嵌入模型 tomoro-colqwen3-embed-4b

TomoroAI 发布了 tomoro-colqwen3-embed-4b,这是一个基于 Qwen3-VL-4B-Instruct 和 Qwen3-Embedding-4B 融合的多模态嵌入模型,采用 ColPali 风格的多向量表示,支持文本、图像和视频检索。该模型在 ViDoRe 基准上达到或接近最先进性能,并将嵌入存储占用降低至约 0.82 TB/百万

正文结构化主题已通过公开置信门槛
量子位商业

优必选行者具身智能模型完成生成式AI服务备案

优必选自研的“行者具身智能模型”通过中央网信办审核,完成生成式人工智能服务备案,成为具身智能机器人行业首批通过备案的企业之一。该模型面向情感交互进行专项微调,支持家庭陪伴等场景,并与开源模型Thinker共享具身底座。此次备案构建了内容安全合规工程能力,为家庭场景落地提供保障。

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源产品发布

Amazon Bedrock推出OpenAI GPT-5.6跨区域推理支持

AWS宣布OpenAI GPT-5.6模型现已在Amazon Bedrock上支持跨区域推理,覆盖超过25个AWS区域。该功能通过地理和全球推理配置文件实现,允许请求在多个区域间路由,以提高吞吐量和性能。GPT-5.6系列包括Sol、Terra和Luna三个变体,支持文本和图像输入,具有100万token上下文窗口,并支持推理模式、工具调用和提示缓存。