返回主题地图

多模态

技术方向 · 文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品 · 共 1341 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

11月10日周二 · 11 条
正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源10

llama.cpp b12237:mtmd 支持 Gemma 4 音频输入流

llama.cpp 发布 b12237 版本,其 mtmd(多模态)模块新增对 Gemma 4 输入音频流的支持,采用 480ms 步长处理音频。同时修复了 server 端实时嵌入逻辑:此前实时槽位强制开启 embeddings,导致带音频流的聊天模型(如 Gemma 4)在首批音频行上中止,现在仅对生成音频的模型保留 n batch 输出。该版本同步提供

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布17

MiniMax 发布全模态生成系统 MiniMax-H3

MiniMax 在 Hugging Face 发布 MiniMax-H3 全模态生成系统,支持文本、图像、视频、音频统一理解,可生成带原生立体声的视频,最高 2K 分辨率、15 秒时长。系统由 H3-Context-IR、H3-Base、H3-Regenerate-2K 三个模块组成,提供 Base-FL2VA 与 Base-Ref2VA 两种变体,并同步开

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源9

llama.cpp b12236 发布:mtmd 新增重采样辅助函数

llama.cpp 发布 b12236 版本,核心变更为 mtmd 模块新增 mtmd helper resampler 辅助函数,并同步更新文档、补充测试,同时引入 MA MAX FILTER ORDER 常量。该版本照例提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多后端预编译二进制包,涉及 CUDA

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源模型发布15

NVIDIA Nemotron 3.5 Super VL 上线 Amazon SageMaker JumpStart

AWS 宣布 NVIDIA Nemotron 3.5 Super VL 视觉语言模型已在 Amazon SageMaker JumpStart 上线,用户可通过 SageMaker Studio 或 Python SDK 快速部署。该模型采用 120B 参数混合 MoE 架构(12B 激活参数)与 C-RADIO 视觉编码器,支持图像、视频、文本输入,上下文

正文结构化主题已通过公开置信门槛
THE DECODER模型发布8

Meta 发布小型模型 Muse Ember,专为智能体重复性工作设计

Meta 发布其迄今最小、最高效的 AI 模型 Muse Ember,面向 AI 智能体日常重复性任务,如调用工具、小型编码、请求路由、数据抽取和长文档处理。Meta 称其在各推理级别上每美元智能高于 Claude Haiku 5.5 和 GPT-6 Luna,Artificial Analysis 测试中每任务成本约 0.14 美元。该模型支持文本、图像、

正文结构化主题已通过公开置信门槛
THE DECODER模型发布13

字节 Seedream 5.5 发布:百轮编辑像素稳定不偏色

字节跳动 Seed 团队发布图像生成模型 Seedream 5.5,主打专业生产工作流,支持最多 100 轮多轮编辑且未改动区域保持像素级稳定、无色彩漂移,并可原生生成带透明背景的 RGBA 图像。字节称其在光照、材质、皮肤质感与密集小文字还原上更真实,并在文本结构与真实感上领先 GPT Image 2.5 Sunburst 等模型。该模型正通过即梦、豆包、

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布14

RedHatAI 发布 Qwen3.8-27B INT4 量化模型

RedHatAI 发布了 Qwen3.8-27B 的 INT4 量化版本,权重由 16 位压缩至 4 位,磁盘与 GPU 显存需求降低约 75%,激活值保持原精度并采用 FP8 KV cache。该模型使用 LLM Compressor 结合 AWQ 平滑与 W4A16 GPTQ 方案生成,可直接通过 vLLM 部署,并支持推测解码。在 IFEval 等基准

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布13

RedHatAI 发布 Muse-Glimmer-30B FP8 量化版

RedHatAI 发布了 Muse-Glimmer-30B-FP8-block,这是对 Meta 的 meta-models/Muse-Glimmer-30B 多模态模型进行 FP8(W8A8 block)量化后的版本。该模型使用 LLM Compressor 以无需校准数据的 post-training 量化方式生成,并以 compressed-tenso

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布14

Liquid AI 发布端侧视觉语言模型 LFM3-VL-2B

Liquid AI 在 Hugging Face 发布 LFM3-VL-2B,一款面向端侧视觉理解的多模态模型,以 LFM3-1.7B 语言模型结合自研视觉编码器构成,总参数约 1.92B。该模型首次在 LFM 视觉系列中支持视频输入,并具备逐步推理(thinking)以及空间与具身推理能力,可用于图表、数学等较难视觉问题及机器人相关场景。模型采用 lfm1

正文结构化主题已通过公开置信门槛
TechCrunch AI模型发布7

Meta 发布轻量模型 Muse Ember,主打智能体执行

Meta Superintelligence Lab 发布轻量级模型 Muse Ember,主打低成本、高并发的智能体执行场景,每百万输入 token 定价 10 美分,并称其性价比优于 Anthropic Haiku、OpenAI Luna 及开源竞品 DeepSeek V4.1 Flash、GLM 5.3 Flash。该模型支持文本、图像、音频多模态输入

正文结构化主题已通过公开置信门槛
Latent Space商业5

Handshake AI 年收入达 10 亿美元:前沿实验室在买什么数据

Latent Space 播客深入访谈 AI 数据公司 Handshake,其 AI 训练业务在约一年内从上线做到 10 亿美元年化毛收入。节目展示了 Handshake 为前沿实验室构建的强化学习环境,涵盖金融(ATLAS-Finance 银行代理任务)、生命科学(VIALS 科学图像基准)和编码安全模拟,并讨论了实验室如何采购与评估专家数据、评分标准与专

11月9日周一 · 9 条
正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering模型发布7

Google 发布 Gemini 4 Argon 机器人控制模型

Google 发布 Gemini 4 Argon,将其定位为面向机器人控制、Real2Sim 场景构建、机器人视频多模态标注和策略迭代改进的通用物理推理模型,而非单一末端执行器策略。官方称 Argon 在 ERQA 基准上以纯推理取得 87% 成绩,并可通过 Google AI Ultra 订阅和付费 Gemini API 使用。开发者讨论聚焦仿真保真度与

正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源模型发布12

NVIDIA 发布 Cosmos 3 四个开放世界模型

NVIDIA 在 Hugging Face 发布 Cosmos 3 世界模型家族的四个新开放权重检查点,均基于 Cosmos 3 Nano 后训练,拥有 160 亿可训练参数,采用 OpenMDW1.1 许可,允许商用与非商用。四个模型分别面向自动驾驶多视角数据生成、相机与 LiDAR 同步流式仿真、物理模拟器控制转逼真视频,以及双臂机器人动作预测。NVID

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源6

MiniCPM-OCR 1.0 DSpark 草稿模型 GGUF 版发布

OpenBMB 在 Hugging Face 发布 MiniCPM-OCR-1.0-DSpark 的 GGUF 版本,这是 MiniCPM-OCR 1.0 的 DSpark 草稿头(draft head),用于投机解码加速,并非独立 OCR 模型,需与主模型 checkpoint 及主模型的 mmproj 投影器配合使用。仓库提供 F16 到 Q4 0 共

正文结构化主题已通过公开置信门槛
ByteDance Seed Research一手来源模型发布13

字节跳动发布 Seedream 5.5 图像模型:支持百轮编辑与原生透明背景

字节跳动 Seed 团队发布下一代图像生成模型 Seedream 5.5,主打三项升级:支持 100 轮多轮编辑且未编辑区域像素级保留、原生 RGBA 透明背景素材生成、以及更真实的光影材质与更清晰的小字文本渲染。官方评测称其在文本结构和文生图真实感上领先其他主流模型,目标是让图像模型更可靠地进入专业视觉生产流程。

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布10

MiniCPM-OCR 1.0 发布 GGUF 量化版

OpenBMB 在 Hugging Face 发布 MiniCPM-OCR 1.0 的 GGUF 量化版本,基于 MiniCPM-V-4.6 量化而来,面向 llama.cpp 本地推理。该 1.3B 模型可解析中英文文档与 PDF 中的文本、表格、公式、图表和印章,并提供从 F16 到 Q4 0 的多种量化档位及配套视觉投影器。模型采用两阶段流水线:SDK

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论模型发布9

字节跳动发布Seedream 5.5图像模型,接入豆包与即梦

字节跳动于11月9日正式发布豆包图像创作模型Seedream 5.5,相比Seedream 5.0 Pro在生成速度、多轮编辑稳定性、透明素材生成、图像真实感和小字渲染方面均有提升。豆包、豆包工作、即梦已同步接入该模型,API即将上线火山方舟,2K方图编辑单张成本约0.28元,不到上一代一半。字节跳动表示后续将推出Pro版本,并拓展模型在Agent工作流中的

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
量子位模型发布5

腾讯混元Hy4发布:770B开源模型,原生视觉与电脑操作能力

腾讯正式发布混元Hy4大模型,总参数770B、激活参数49B,首次引入原生视觉理解与电脑操作(CUA)能力,并升级长程Agent与指令遵循能力。模型已在腾讯云TokenHub、WorkBuddy/CodeBuddy、元宝、ima等产品上线,API接入OpenRouter等平台,权重将于近期开源。实测显示其可自主完成3D交互页面、PPT重排版、图片批处理工具等

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究4

EvoWorld:生成式视频模型中的视野外世界演化

该论文提出「视野外因果演化」(Out-of-Sight Causal Evolution)新问题,要求生成式视频模型在渲染事件后推理其对世界状态的影响,并给出因果合理的结果。作者提出 EvoWorld 框架,由视觉语言模型充当「世界大脑」维护世界状态并推理状态转移,配合分段自回归视频渲染器实现视觉呈现。团队还构建了 EvoWorld-Data 与 EvoWo

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究4

AIM:多模态LLM推理中多智能体辩论的自适应交互

该论文提出AIM(自适应交互多智能体辩论)框架,用于多模态大模型推理。AIM不再固定使用文本或图结构交互,而是动态选择文本、图以及任务相关模态(图像区域、音频片段、视频时空片段)的组合来交换证据。实验覆盖VQA、Audio-QA、Video-QA共八个基准,AIM准确率最高,相比最佳单模态基线提升至多6.4%,相比各基准最优固定组合再提升至多4.2%,同时t