返回主题地图

多模态

技术方向 · 文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品 · 共 1350 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

9月1日周二 · 7 条
正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Liquid AI 发布 LFM2.5-VL-3B GGUF 量化版,面向边缘 AI

Liquid AI 发布了 LFM2.5-VL-3B 的 GGUF 量化版本,这是一个专为边缘 AI 和端侧部署设计的新一代混合模型,支持多语言和图像到文本任务。该模型可通过 llama.cpp 运行,并支持通过命令行加载图像进行对话。此版本旨在提供高质量、高速度和内存效率,为边缘设备上的多模态 AI 应用提供支持。

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Liquid AI 发布 LFM2.5-VL-3B 多模态模型,面向端侧部署

Liquid AI 发布了 LFM2.5-VL-3B 多模态模型,基于 LFM2.5-2.6B 语言模型和 SigLIP2 NaFlex 视觉编码器,支持文本和图像处理,具备改进的接地、OCR 和高效推理能力。该模型专为端侧部署设计,在 Apple M5 Max 上达到 228 tok/s,在 AMD Ryzen AI Max+ 395 上达到 116 to

正文结构化主题已通过公开置信门槛
Google Gen AI JavaScript SDK Releases一手来源产品发布

Google Gen AI JS SDK 2.20.0 发布:新增视频理解与音频支持

Google 发布了 Gen AI JavaScript SDK 2.20.0 版本,新增了对 audio/webm MIME 类型的支持、GEAP 的 translation config SDK 支持,以及 Interactions API 的视频理解功能。同时修复了文件上传请求中冗余 Content-Length 的问题,并暴露了 Processing

正文结构化主题已通过公开置信门槛
Google Gen AI Python SDK Releases一手来源API 更新

Google Gen AI Python SDK v2.21.0 发布

Google 发布了 Gen AI Python SDK 的 v2.21.0 版本,新增了文件下载到磁盘或文件类对象的目标参数、支持 audio/webm MIME 类型、为 GEAP 添加翻译配置支持,以及为 Interactions API 添加视频理解支持。同时修复了 Interactions SDK 中 ProcessingCallStep 和 Pr

正文结构化主题已通过公开置信门槛
智东西模型发布

DeepSeek-V4多模态模型开源,多项基准超越Opus-4.8

DeepSeek于8月31日开源了其V4系列首个实验性多模态模型DeepSeek-V4-Flash-Vision-Exp,该模型基于V4-Flash架构并集成视觉模块,解锁了视觉理解能力。在多项基准测试中,该模型在纯文本智能体任务和多模态智能体能力上表现优异,部分指标超越Opus-4.8,但在复杂数据科学任务上仍有差距。此前该模型已于8月21日上线DeepS

正文结构化主题已通过公开置信门槛
智东西产品发布

海信发布家庭AIOS系统JUOS,搭载星海大模型

海信于8月31日发布其首个AIOS系统JUOS,面向家庭场景,适配电视、投影等终端,搭载自研星海大模型和系统级AI智能体“超级小聚”。该系统旨在实现家庭AI交互从被动响应到主动服务,支持多用户识别、个性化桌面和跨设备内容流转。海信视像科技总裁李炜表示,家庭AI需识别不同成员和多元场景,JUOS已获人工智能终端智能化分级L3认证,意图识别准确率超95%。

正文结构化主题已通过公开置信门槛
TechCrunch AI商业

AI 视频搜索初创公司 Clipto 估值达 2.5 亿美元

Clipto 是一家总部位于旧金山的初创公司,利用 AI 技术帮助用户搜索和整理本地视频、音频、图片及文档等文件,近期完成了 1500 万美元融资,估值达 2.5 亿美元。该公司已拥有超过 3000 万用户和数十万付费订阅者,年经常性收入达 1500 万美元,并保持盈利。Clipto 最近支持了 MCP 协议,允许 AI 应用在用户授权下访问索引数据,所有处

8月31日周一 · 9 条
正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论产品发布

海信发布家庭智能伴侣级AIOS JUOS,实现从被动响应到主动懂家

海信于8月31日发布行业首个家庭智能伴侣级AIOS——海信JUOS,该系统面向家庭全场景,适配电视、闺蜜机、投影等多终端,搭载自研星海大模型与四大原生引擎,实现从被动响应到主动服务的代际跃迁。JUOS通过超级小聚、AI个性桌面、小聚妙联等核心体验升级,并获人工智能终端智能化分级L3认证,计划9月起推送至首批机型。

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

PACE:基于智能体自动化的发布者自适应内容提取

PACE 是一个用于网页内容提取的智能体框架,通过 LLM 分析页面结构并学习发布者特定的提取配置,在推理时使用固定确定性提取器模板,无需额外 LLM 调用。实验表明,PACE 在文章正文、元数据和多模态提取上优于可扩展的非人工基线,接近人工构建的发布者特定解析器质量。该框架旨在自动化发布者特定提取,为 LLM 数据管道提供可扩展的页面表示。

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

SciReC:多模态多轮关系推理的自适应诊断评估

arXiv 论文提出 SciReC,一个模型自适应的多模态学术对话基准,用于评估多模态大语言模型在八类关系推理上的表现,并引入 DMRA 诊断框架以量化视觉理解、知识、记忆和推理等成分的贡献。结果显示 Claude 4.6 总体关系得分最高(73%),GPT 5.4 次之(68%);开源模型在空间关系上最弱,闭源模型在层级和顺序关系上更吃力;所有模型的主要错

正文结构化主题已通过公开置信门槛
Mistral Platform Changelog一手来源模型发布

Mistral 发布 Large 2.1 与 Pixtral Large,Le Chat 新增多项功能

Mistral 于 11 月 18 日发布了 Mistral Large 2.1 和 Pixtral Large 模型,后者为多模态模型,支持文档和图像理解。同时,Le Chat 平台新增了带引用的网络搜索、画布功能、图像生成(由 Black Forest Labs 的 Flux Pro 驱动)以及更快的响应速度。

正文结构化主题已通过公开置信门槛
Mistral Platform Changelog一手来源模型发布

Mistral 发布首批 Voxtral 音频模型及转录 API

Mistral 发布首批音频模型 Voxtral Small 和 Voxtral Mini,用于聊天场景,同时推出面向转录优化的 Voxtral Mini Transcribe,并通过 audio/transcriptions 接口提供转录 API。这标志着 Mistral 正式进入音频模型领域,扩展了其平台的多模态能力。

正文结构化主题已通过公开置信门槛
Mistral Platform Changelog一手来源模型发布

Mistral 发布 Mistral Small 4 与开源代码智能体 Leanstral

Mistral 发布了 Mistral Small 4,这是一个统一指令、推理和编码的多模态混合模型,支持 256k 上下文窗口。同时,Mistral 还发布了 Leanstral,这是其首个面向 Lean 4 形式化证明工程的开源代码智能体。

正文结构化主题已通过公开置信门槛
Mistral Platform Changelog一手来源模型发布

Mistral 发布多模态模型 Medium 3.5,支持调节推理

Mistral 发布了 Mistral Medium 3.5,这是一个面向智能体和编码用例的前沿多模态模型,支持通过 reasoning effort 参数调节推理强度,并以修改版 MIT 许可证开放权重。

正文结构化主题已通过公开置信门槛
DeepSeek API Changelog一手来源模型发布

DeepSeek 发布多模态视觉模型 V4-Flash-Vision-Exp

DeepSeek 发布了实验性多模态视觉理解模型 DeepSeek-V4-Flash-Vision-Exp,已上线 API 平台,用户可通过设置 model='deepseek-v4-flash-vision-exp' 访问。该模型在纯文本能力上与正式版持平,但在视觉理解的 Agent 基准测试中大幅提升,接近 Opus-4.8。

另有 1 家信源报道

8月30日周日 · 4 条
正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

GLM-5.3-Flash NVFP4 量化版发布:体积缩减70%

LibertAI 发布了 GLM-5.3-Flash 的 NVFP4 量化版本,将模型从 598.5 GiB 压缩至 181 GiB,体积减少 70%,余弦相似度达 0.99665。该量化仅针对路由专家 FFN,保留注意力、视觉塔等关键部分为 BF16,确保多模态行为与原始模型一致。模型支持 vLLM 和 SGLang,但需要特定配置,且已修复 GB10 上

正文结构化主题已通过公开置信门槛
Xinference Releases一手来源产品发布

Xinference v3.3.0 发布:新增多模型支持与路由功能

Xinference 发布 v3.3.0 版本,新增了对多个模型的支持,包括 Qwen3.8、DeepSeek V4 Flash、GLM-Image、Kimi-K3 等,并引入了 token 感知的虚拟模型路由、Anthropic Messages 协议适配器、世界模型生成等新功能。此外,该版本还增强了音频、图像、视频等多模态能力,并修复了若干 bug。

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

NaviDC-OCR:轻量级文档解析模型,统一数字与拍摄文档

StarDoc-AI 发布了 NaviDC-OCR,一个约 1.2B 参数的开源视觉语言模型,专为文档解析设计,统一处理数字和相机拍摄文档。该模型引入了多节点共识投票、几何感知建模、曲率引导采样等技术,在 OmniDocBench 和 Wild OmniDocBench 基准上达到最先进性能,且无需去畸变预处理。模型采用 Apache-2.0 许可证,支持中

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Qwen3.8-27B INT4 量化模型发布:体积减半,速度提升58%

devan-carlin 发布了基于 Qwen3.8-27B 的 INT4 量化模型,使用 Intel AutoRound 方法,模型大小从约 52GB 减至 18GB。在 4 块 Intel Arc Pro B70 GPU 上通过 vLLM 张量并行运行,生成速度达 47.8 tok/s,比 BF16 快 58%,且保持质量一致。该模型支持多模态和 256