返回主题地图

多模态

技术方向 · 文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品 · 共 1342 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月7日周三 · 10 条
正文结构化主题已通过公开置信门槛
TechCrunch AI商业

前Ramp工程师弃首款产品后,为AI广告平台Melius融资2000万美元

前Ramp工程师创立的AI广告创意平台Melius宣布完成总计2500万美元融资,包括CRV领投的2000万美元A轮和General Catalyst领投的500万美元种子轮。该公司最初做AI绩效营销工具,但联合创始人认为原方向行不通,遂彻底废弃代码库转向生成广告创意素材与活动,7月结束隐身以来两个月内年化收入已超100万美元。面对Higgsfield等竞争

正文结构化主题已通过公开置信门槛
Google DeepMind News一手来源模型发布

Google DeepMind 发布开放轻量多模态嵌入模型 EmbeddingGemma 2

Google DeepMind 发布 EmbeddingGemma 2,一款基于 Gemma 4 架构、采用 Apache 2.0 许可的开放轻量级多模态嵌入模型,参数量 7.4 亿,可在设备端运行。该模型将代码、图像、视频和音频统一到共享嵌入空间,支持 8K 上下文窗口,并通过 MRL 实现向量维度动态截断以节省存储。相比前代,其代码性能在 MTEB Co

正文结构化主题已通过公开置信门槛
THE DECODER模型发布

Google 称 EmbeddingGemma 2 性能超越两倍规模竞品嵌入模型

Google 发布开源多模态嵌入模型 EmbeddingGemma 2,可将文本、图像、视频、音频和代码转换为数值向量,参数量为 7.4 亿。Google 称其在多模态嵌入基准上优于参数量两倍的竞品,且无需 API key 即可本地运行,浏览器中通过 WebGPU 每次查询约 20 至 70 毫秒,仅需约 191 MB 内存,并可将本地向量数据库存储减少最多

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
THE DECODER模型发布

Google 发布 Nano Banana 2.1 图像模型,画质提升价格减半

Google 发布图像生成与编辑模型 Nano Banana 2.1,取代 2026 年 2 月推出的 Nano Banana 2,官方称其在视觉质量、文字渲染、角色一致性、全景图和图表信息图等方面全面提升。新模型价格约为上一代的一半,1K 图像从 6.70 美分降至 3.36 美分,4K 从 15.10 降至 7.56 美分。该模型以 Flash 级速度运

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源教程

在 AgentCore 与 OpenClaw 上构建上下文感知 AI 助手

AWS Machine Learning Blog 发布教程,介绍如何在 Amazon Bedrock AgentCore 上结合开源智能体系统 OpenClaw 构建具备长期记忆的上下文感知 AI 助手。方案以园艺助手 Sprout 为例,通过 AgentCore memory 将一次性对话转为持久知识,并用结构化元数据标记记忆以便检索。系统全部定义在单个

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

EldanRing 发布 Winnow-E4B 类型化决策微调模型

EldanRing 发布了 Winnow-E4B,这是基于 google/gemma-4-E4B-it 微调的紧凑型模型,用于类型化决策、聊天和图像输入。模型以 GGUF 格式提供,可直接本地推理,无需单独下载适配器或基础模型。在公开评测中,Winnow-E4B Q8 在 JevBench 上达到 80.52%,在 Kev v9 clean 上达到 72.6

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

EldanRing 发布 Winnow-12B 本地决策微调模型

EldanRing 发布了 Winnow-12B,这是基于 Google Gemma 4 12B IT 微调的 GGUF 模型,面向本地类型化决策、聊天和图像输入。模型通过 Winnow 服务器的 /v1/systemone 接口对给定选项打分,无需生成解释,同时支持常规聊天。在 JevBench 和 Kev-v9 决策基准上,Winnow-12B Q8 分

正文结构化主题已通过公开置信门槛
Mistral Platform Changelog一手来源模型发布

Mistral Large 4 公开预览:开放权重多模态 MoE 模型

Mistral 在平台更新中宣布 Mistral Large 4 进入公开预览。该模型为开放权重、通用多模态模型,采用混合专家架构,支持 100 万 token 上下文窗口,开放权重即将发布,并推出两周五折的发布定价。

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
Transformers Releases一手来源开源

Transformers 发布 v5.19.0:新增 EmbeddingGemma2 多模态嵌入模型

Hugging Face Transformers 发布 v5.19.0,新增 Google 基于 Gemma 4 架构的多模态嵌入模型 EmbeddingGemma2,可将文本、图像、音频和视频编码到共享的 768 维向量空间。该版本还包含多项破坏性变更,如所有 MoE 模型在 output router logits=True 时返回路由 logits、

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Mitsuba & HiMitsuba 27B GGUF:面向 ComfyUI 的三值化模型

Hugging Face 上发布 Mitsuba & HiMitsuba 27B GGUF 模型,基于 Qwen3.8-27B 自研三值化(1.58-bit)权重,面向 ComfyUI 的图像/视频提示词生成与图像描述任务,不适用于编程。提供 PQ2 0(7.3GB)与 PTQ1 0(6.0GB)两种 GGUF 格式,可在单张 16GB GPU 上运行,并新

10月6日周二 · 10 条
正文结构化主题已通过公开置信门槛
Simon Willison's Weblog观点

测试 Claude Opus 5.5 作曲能力:文本模型的新兴技能?

Simon Willison 测试了 Claude Opus 5.5 是否具备作曲能力,要求其设计简单的文本音乐格式并构建可播放的 artifact,并附上示例曲目,风格参考《猴岛小英雄》。结果比他预期更贴近猴岛主题,但质量出乎意料地好。他由此推测,文本模型作曲可能类似此前的 3D 图形能力,是近几个月新出现的能力,但需要更多实验来确认。

正文结构化主题已通过公开置信门槛
TechCrunch AI模型发布

Mistral 发布 1T 参数多模态模型 ML4,剑指中美对手

法国 AI 实验室 Mistral AI 发布 Mistral Large 4(ML4),一个拥有 1 万亿参数的大型多模态模型,昵称 Le Chonk,目标是同时超越中美竞争对手。该模型目前仅通过公共护栏端点提供访问,Mistral 计划在三周安全测试完成后开放权重。ML4 完全使用 Mistral 自有算力训练,仅用 4000 块 Nvidia GPU,

正文结构化主题已通过公开置信门槛
THE DECODER模型发布

Mistral 发布万亿参数 Mistral Large 4,主打安全与欧洲主权

Mistral 发布万亿参数模型 Mistral Large 4 预览版,在欧洲自有数据中心训练,API 已上线,权重预计 10 月底发布。该模型在 Artificial Analysis 智能指数上得分 38,较前代大幅提升,但仍落后 Claude Opus 5.5 的 58 分。Mistral 主打 IT 安全能力,称其能复现并修补漏洞,而 Claude

正文结构化主题已通过公开置信门槛
TechCrunch AI产品发布

Pinterest 推出 AI 美容指南,将灵感图转为沙龙行动方案

Pinterest 推出名为 Beauty Guides 的新功能,利用其视觉智能与生成式 AI 技术 Pinterest Intelligence,将美发、美甲等美容类 Pin 转化为可执行的行动指南。该功能会把用户保存的灵感图翻译成造型师和美甲师使用的专业术语,如 balayage、root melt、almond nails,并提供所需时间、价格区间和

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Hugging Face 发布 SmolVLA 紧凑型机器人视觉语言动作模型

Hugging Face 在 LeRobot 框架下发布 SmolVLA 基础模型(lerobot/smolvla base),这是一个紧凑高效的视觉-语言-动作(VLA)模型,基于 SmolVLM2-500M-Video-Instruct,采用流匹配训练目标,可在单张 GPU 上训练并部署于消费级硬件。模型支持多视角图像、本体状态和可选语言指令输入,输出连

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

LeRobot 发布 π₀.₅ LIBERO 微调 VLA 模型

Hugging Face 上发布了 lerobot/pi05 libero finetuned v044,这是 Physical Intelligence 的 π₀.₅ 视觉-语言-动作(VLA)模型在 LIBERO 任务上微调后的 LeRobot 版本。该模型基于 flow matching 动作头,支持多视角图像、本体状态和可选语言指令输入,输出连续动作

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源模型发布

Kandinsky 6.0 Video:同步音视频生成基础模型

Kandinsky 6.0 Video 是一系列用于同步文本到音视频生成的基础扩散模型,包含 3B 参数的 Lite 版和 29B 参数的 Pro 版,可生成 5 秒带 44 kHz 同步音频(含唇形同步)的视频,并支持 T2AV 与 I2AV 模式,内置超分辨率模型可将输出提升至 Full-HD。模型采用双流 CrossDiT 架构,通过双向交叉注意力连接

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

语音伴随手势生成的运动分词器是否编码手势语义?

该研究探究了用于语音伴随手势生成的离散运动分词器是否编码了手势语义。作者使用19个从原始运动到抽象交际功能的手势描述符,对重建训练得到的码本进行探测,发现几何和左右手属性可从token嵌入中轻易解码,而手势类别、手形和交际意图仅能弱解码。这表明仅靠重建目标不能保证捕获手势语义,评估码本在这些属性上的表现可指导更具语义的运动分词器设计。

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

多模态双编码器检索用于自动化ICD编码

该研究提出一个两阶段框架用于自动化ICD编码:第一阶段用多模态双编码器检索模型,通过门控融合整合结构化EHR数据与非结构化临床笔记,将患者就诊记录与ICD编码元数据对齐到共享嵌入空间,并用FAISS近似最近邻搜索输出top-k候选编码;第二阶段用基于LLM的重排序器对候选编码重新打分并给出临床相关解释。在MIMIC-III等基准数据集上,该方法相比多模态双融

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

bartowski 发布 Cloudflare clef 模型 GGUF 量化版

bartowski 在 Hugging Face 上发布了 Cloudflare 的 clef 模型的 GGUF 量化版本,使用 llama.cpp b11279 进行 imatrix 量化。clef 是一个 27B 参数的多模态模型,支持文本和图像输入,输出结构化类型结果,适用于分类等任务。该量化版本提供从 bf16 到 Q4 0 等多种精度选项,方便本地