返回主题地图

多模态

技术方向 · 文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品 · 共 1341 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

11月4日周三 · 12 条
正文结构化主题已通过公开置信门槛
量子位产品发布

超维动力全栈具身智能矩阵亮相香港金融科技周

超维动力(Kinetix AI)在2026香港金融科技周展出全栈具身智能矩阵,包括高动态人形机器人乒乓系统SMASH、117自由度拟人人形机器人KAIBot、37自由度灵巧手KAI Hand和第一人称数采头环KAI Halo,并与恒生银行合作设置乒乓机器人互动体验区。CEO喻杰在圆桌论坛阐述坚持全栈路线的四点考量,认为通用人形机器人是产业终局。公司成立于20

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

Route Anything:通用AI系统的模型与策略路由研究

该论文提出 Route Anything 框架,用于在通用 AI 系统中动态选择并协调专用模型与策略。研究构建了覆盖 25 个基准、452 个候选配置、374,401 次评分运行的全模态轨迹矩阵,并训练多种路由器进行测试。结果显示,逐输入 oracle 路由比最佳固定候选高 5.4 分,学习型路由器在视频生成和机器人操作上分别提升 2.1 分和 1.1 分,

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

AttriSwarm:用代理集群实现跨页视觉归因

该论文提出 AttriSwarm,一个 agent-swarm 框架,用于跨页视觉归因:由 leader 负责全局跨页推理,子代理在隔离上下文中并行完成逐页归因,以缓解跨页上下文污染和串行开销。作者同时构建了带页面级与区域级标注的跨页问答数据集 AttriDoc,并对 leader 与子代理进行角色特定训练。在三个开源骨干模型和三个数据集上,答案准确率、页面

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

异构图注意力网络结合多模态特征选择用于癌症多组学整合

研究团队提出 HeteroGATomics,一种面向癌症多组学整合的异构图注意力网络框架。该方法通过多智能体系统进行多模态特征选择,为每个组学模态分别构建特征相似网络与患者相似网络,再合并为单一异构图以学习整体表征并融合各模态预测。在三个癌症多组学数据集上,该方法在多数诊断评价指标上优于基线,并在独立乳腺癌队列的外部验证中优于基于图的多组学整合方法,同时通过

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

可灵发布技术报告:视频生成背后的多模态理解观察与洞见

快手可灵(Kling)团队发布技术报告,总结多代视频生成系统在多模态理解方面的观察与洞见。报告提出视频生成瓶颈正从渲染转向语义控制,并以统一图像、视频、音频等输入的多模态基础模型 Kling-MLLM 为核心,逐模块梳理数据、条件化、对齐、评估全链路,涵盖高密度与参考锚定式描述生成、提示词增强、感知训练得到的文本编码器、奖励建模及任务特定自动评估。报告希望为

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b12098:mtmd 准确支持 qwen3-vl 视频提示格式

llama.cpp 发布 b12098 版本,主要更新是 mtmd 模块对 qwen3-vl 视频提示格式提供了准确支持(PR #31619)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制,涵盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。此次更

正文结构化主题已通过公开置信门槛
量子位产品发布

openJiuwen Agent-Memory 上线视听双流长视频记忆能力

openJiuwen 团队在 AgentMemory 0.2.0 版本中上线多模态记忆能力 OmniMem-Lens,通过视觉与语音双流交叉判断真实事件边界,替代按固定时间窗口切分长视频的做法,并采用三层记忆结构、离线建库在线检索。在 Video-MME-L、LVbench、EgoLife-QA 三个长视频问答评测集上,配合 Qwen3-VL-8B 的召回精

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b12087:mtmd 新增 Nemotron 3.5 Transcribe 支持

llama.cpp 发布 b12087 版本,主要为其 mtmd(多模态)模块新增 Nemotron 3.5 Transcribe 语音转录模型支持。改动包括修复 Nemotron-H 目标草稿模型的词表转换、拒绝非 BF16 的 Transcribe 检查点、将说话人 FIFO 预测本地化、在 encode windows 中归一化 mel 特征,以及校验

正文结构化主题已通过公开置信门槛
智东西产品发布

英特尔与腾讯云发布至强6+云实例,晒智能体AI基础设施

在2026腾讯全球数字生态大会上,英特尔与腾讯云发布基于英特尔至强6+处理器的新一代云实例,综合性能较上一代提升30%以上,单颗处理器最高可支持超过1000个智能体稳定部署。双方还展示了内存压缩硬件加速、CubeSandbox沙箱、多模态计算引擎Xpark等智能体AI基础设施实践,并披露下一代至强处理器Diamond Rapids及GPU D系列规划。

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
智东西研究

Gartner发布2027十大技术趋势:非文本AI居首,Harness成1-3年重点

Gartner研究副总裁高挺在媒体交流会上解读了《2027年十大战略技术趋势》报告,列出大型定量模型、语音推理模型、世界模型、AI上下文平台、编码智能体框架、AI智能体身份、自主式暴露修复、主权技术、可抛弃型应用和湿件即服务十大趋势。报告认为这些趋势聚焦非文本AI能力扩展、智能体治理体系建设与技术持久敏捷性,并预测到2028年采用编码智能体框架的企业软件缺陷

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源产品发布

Amazon Bedrock 为 Kimi K3 推出印度境内推理

AWS 在 Amazon Bedrock 上为 Moonshot AI 的开放权重多模态模型 Kimi K3 新增印度境内推理选项,通过 in.moonshotai.kimi-k3 推理配置文件将请求限定在孟买和海得拉巴区域处理,满足严格的数据驻留要求。文章介绍了全球与地理推理配置的区别,并给出使用 OpenAI 兼容 API 对印地语等印度语言文档做 OC

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

MiniCPM-V-Apps GGUF 模型文件仓库发布

Hugging Face 上出现 tc-mb/MiniCPM-V-Apps-gguf 仓库,为 OpenBMB 的 MiniCPM-V-Apps 应用分发 GGUF 格式模型文件。仓库包含 MiniCPM-OCR-1.0 的 OCR 文本塔、4x 视觉投影器和 PP-DocLayoutV3 版面检测 ONNX 文件,以及 MiniCPM-V 4.7 的 1B

11月3日周二 · 8 条
正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

LiquidAI 发布 LFM3-VL-2B GGUF 量化版本

LiquidAI 在 Hugging Face 发布 LFM3-VL-2B 的 GGUF 量化版本,支持在 CPU 和 GPU 上本地推理,可通过 Llama.app、LM Studio 和 Ollama 运行。该仓库还包含基于 NVIDIA Model Optimizer 量化的 NVFP4 版本,在 Blackwell GPU 上使用 FP4 张量核心,

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论模型发布

百度Apollo发布世界模型Apollo World,用于无人驾驶虚拟验证

百度Apollo在深圳AI Day上首次披露面向物理AI的智能体驱动全模态世界模型Apollo World,并提出世界模型“2+3”判断标准(因果性、交互性两项基础门槛,物理准确性、持久性、实时性三项进阶指标)。该模型将虚拟场景中所有交通参与者建模为具备决策与交互能力的AI智能体,可实时生成相机、激光雷达等多模态观测数据,形成端到端闭环,目前已用于萝卜快跑全

正文结构化主题已通过公开置信门槛
量子位观点

海马云:模型谁都能买,拉开差距的是AI生产力系统

海马云创始人兼CEO党劲峰提出,AI下一程的竞争本质是确定性系统交付,而非概率生成,模型谁都能买到,真正拉开差距的是算力、Harness(Agent、上下文、工具链)与数据深度咬合的生产力系统。海马云旗下AIGC平台RunningHub以渲推一体的异构算力调度、RH系列垂直后训练模型和Agent驱动的工具链为支撑,3月至9月全站访问量增长266%,月Toke

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论观点

CNCC 2026:AI视频生成走到真实与动人的分岔口

在CNCC 2026大会“视频生成的智与情”论坛上,多位学者指出视频生成竞争焦点已从画质转向叙事连贯与情感表达。哈工大(深圳)户保田提出多智能体协作的长时序视频生成方案,北大袁粒讨论视觉理解与生成统一路线,中科大刘武与中关村实验室折栋宇则关注AI视频进入社交传播后的认知安全风险。论坛未给出“更真实还是更动人”的确定答案,但认为下一分水岭在于内容进入传播链路后

正文结构化主题已通过公开置信门槛
NVIDIA Generative AI Blog一手来源商业

NVIDIA 携手全球城市部署物理 AI 与智能体 AI 服务

NVIDIA 与全球合作伙伴将物理 AI 和智能体 AI 扩展到城市服务场景,覆盖西班牙、旧金山湾区、波兰、马来西亚等地,用于居民服务、视频分析和交通管理。方案基于 NVIDIA Cosmos、Nemotron、Omniverse 和 Metropolis 等模型与库,并借助 RTX PRO GPU 和共享算力基础设施降低城市部署门槛。数字孪生还被用于炼油厂

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

宇树机器人登泰山过热退赛;腾讯混元庞天宇离职;GPT-6.2 Astra曝光

11月2日多条AI行业动态:宇树机器人G1在首届CMG世界机器人登泰山大赛中因过热退赛,被担架抬下山;腾讯混元多模态强化学习负责人庞天宇离职,可能创业或加入其他大厂;姚顺宇推进RSI创业公司,联创团队首次公开,成员来自Google DeepMind等机构;腾讯混元发布AI科研系统Hyra 2.0,转向让通用Agent参与科研工具研发;OpenAI被曝正在灰度

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Black Forest Labs 发布 FLUX 3 提示词扩展模型

Black Forest Labs 在 Hugging Face 发布 FLUX 3 Image Klein Prompt Upsampler(flux-3-image-klein-pup),这是一个基于 Qwen3.5-9B 全量微调的 9B 视觉语言模型,可将简短的图像编辑、文生图或布局请求扩展为 FLUX 3 Image Klein 所需的详细提示词。

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

EduExplain:教育解释集检索与故事板构建基准

该论文提出 EduExplain,一个面向教育解释生成的基准,覆盖解释集检索与故事板构建两个阶段。基准基于中学科学教材构建,包含 6,921 个多模态资源、2,123 个概念、321 个学习者查询及 741 个参考故事板,并提供人工验证的检索与结构化真值。实验表明首阶段检索质量主导整体表现,现成的多样性选择策略不如简单取排名靠前结果,无约束与固定模板的结构化