返回主题地图

多模态

技术方向 · 文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品 · 共 1351 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

8月25日周二 · 1 条
正文结构化主题已通过公开置信门槛
MCP Python SDK Releases一手来源产品发布

MCP Python SDK v2.1.0 发布:增强客户端与内容支持

MCP Python SDK 发布 v2.1.0 版本,主要更新包括:Client 可直接接受 StdioServerParameters 对象,提示消息支持图像和音频,并导出相关消息类。请求体大小限制扩展到 SSE 和 OAuth 端点。行为变更包括:处理程序异常不再向客户端暴露详细信息,而是记录日志并返回通用错误;内容块返回注解不再自动生成 output

8月24日周一 · 11 条
正文结构化主题已通过公开置信门槛
THE DECODER模型发布

阿里发布Wan3.0视频生成模型,支持30秒多模态输入

阿里巴巴发布了视频生成模型 Wan3.0 的测试版,支持从文本、图片、PDF、网页和 PowerPoint 生成最长 30 秒的视频,长度是前代 Wan2.5 的两倍。该模型能同时处理文本、图像、视频和音频,并旨在减少 AI 生成视频中的视觉漂移和失真。Wan3.0 通过 wan.video 网站、阿里云 Model Studio 和 Qwen Cloud

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10608 发布:修复视频 moov atom 解析问题

llama.cpp 发布 b10608 版本,主要修复了视频处理中 moov atom 位于文件末尾时的解析问题,并处理了 SIGPIPE 信号及 Windows 下的管道中断情况。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件,支持 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYC

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Jina AI 发布多模态嵌入模型 v5-omni-nano

Jina AI 发布了 jina-embeddings-v5-omni-nano,一个约 1.04B 参数的多模态嵌入模型,支持文本、图像、视频和音频输入,并生成与文本模型对齐的共享向量空间。该模型支持检索、分类、聚类和文本匹配任务,可通过 Hugging Face 或 Elastic Inference Service 使用。它定义了开放权重全模态嵌入模型

正文结构化主题已通过公开置信门槛
量子位模型发布

阿里视频大模型Wan3.0正式上线,获评稳定真实有质感

阿里巴巴于8月24日正式上线视频生成大模型Wan3.0,该模型在生成时长、文档输入、真实世界还原等方面全面升级,单次可生成30秒视频,并支持多种文档格式。行业评价其“稳定、真实、有质感”,已进入企业生产流程,用于短剧、影视、广告等场景。即日起用户可在多个平台体验,阿里云百炼和千问AI平台提供限时7折优惠。

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

OmniAssistBench:全模态LLM助手式交互基准测试

OmniAssistBench是一个用于评估全模态大语言模型(Omni-LLMs)作为实时视频助手能力的基准测试。该基准通过逆向工程现有互联网视频构建多轮交互数据集,要求模型根据预定义路径引导用户。测试结果显示,专有模型Gemini-3-Pro得分66.4,开源模型Qwen3-Omni-Instruct得分51.2,当前模型普遍存在视觉提示理解、上下文保持和

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

多模态智能体框架的基础与前沿:技术与应用综述

该综述系统分析了多模态智能体框架中感知、推理、规划、记忆和行动等核心模块,并提出了按模态分类的架构分类法。文章回顾了从文本智能体到多模态框架的演变,以及委托、晚期融合和早期融合等集成方式,并评估了在机器人、GUI与网页导航、多媒体内容生成与编辑、长视频理解与检索等领域的应用。最后讨论了性能、效率与可扩展性之间的权衡,并指出了未来研究方向。

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

OraRL:将标注作为轨迹的高效可扩展视频多模态强化学习

南开大学等机构提出 OraRL,一种面向视频多模态大模型的高效强化学习后训练方法。该方法将标注作为 oracle 轨迹加入策略组,并设计解耦优势估计器避免优势反转,显著提升训练效率与性能。OraRL 在多项视频感知基准上超越现有模型,且推理速度大幅提升。

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

线性判别树集成的可解释多模态分类

该研究提出一种基于线性判别树集成(LDT、LDF、LDAB)的可解释多模态分类框架,通过编码各模态为令牌、提取概念聚类、路由融合并通过改进的特征重要性指标解释趋势,在IEMOCAP、CMU-MOSI和自定义数学数据集上,相比多模态Transformer和可解释多模态路由(IMR),在F1-mod上提升4.3%、准确率提升3.0%,且特征重要性的人类标注一致性

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论模型发布

智象未来发布原生全模态世界模型HiDream-O1-World,登顶WBench

在世界机器人大会期间,智象未来创始人梅涛发表演讲,提出高IQ不等于全能,强调世界模型需融合理解、生成与交互能力。公司发布了原生全模态交互式世界模型HiDream-O1-World,基于自研UiT架构,在WBench Navi分榜登顶,支持文本、图像和交互式操控输入,具备漫游、编辑、交互能力。该模型旨在推动具身智能仿真和AI互动影游等应用,并计划通过数据、模型

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论模型发布

阿里视频大模型Wan3.0正式上线,主打稳定真实有质感

阿里巴巴于8月24日正式上线视频生成大模型Wan3.0,支持单次生成30秒视频及多种文档格式输入,在生成时长、真实世界还原等维度升级。企业用户反馈其表现稳定、真实、有质感,已进入短剧、影视、广告等生产流程。即日起可通过阿里云百炼等平台体验,并推出限时7折优惠。

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10598 发布:改进图像缩放算法并优化速度

llama.cpp 发布 b10598 版本,主要更新为 mtmd 模块使用更精确的 Pillow 图像缩放算法,并修正了所有模型的 resize algo 参数,同时进行了速度优化。该版本提供了适用于 macOS、Linux、Windows、Android 和 iOS 的多种预编译二进制文件,支持 CPU、Vulkan、CUDA、ROCm、OpenVINO

8月23日周日 · 2 条
正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Ornith-1.5-9B MTP GGUF 发布:内置推测解码头,多档量化优化

protoLabsAI 发布了 Ornith-1.5-9B 模型的 GGUF 量化版本,内置蒸馏 MTP 草稿头,支持 llama.cpp 的无损多 token 自推测解码,无需单独草稿模型。该版本针对不同硬件提供多种量化档位,其中 NVFP4 在 Blackwell 上速度最快(299 tok/s),IQ4 XS 适合 6GB 显存,但 IQ2 M 在长文

正文结构化主题已通过公开置信门槛
量子位产品发布

匿名模型Ox Alpha身份成谜,社区通过技术指纹猜测智谱或谷歌

匿名模型Ox Alpha(昵称“牛来大模型”)在OpenRouter上线后引发身份猜测,社区通过Tokenizer、视频token消耗和API报错等证据,认为其与智谱的GLM系列高度相似,也有人怀疑是谷歌Gemini 3.5 Pro。该模型拥有104.86万token上下文,支持多模态输入,在代码和Agent任务上表现亮眼,但评测结果存在分歧。目前身份尚未揭

8月22日周六 · 6 条
正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10580 发布:支持 dots3-note 视觉与音频

llama.cpp 发布 b10580 版本,主要更新是支持 dots3-note 模型的视觉和音频处理(PR #27524),包括文本转换、初始化实现和 GGUF 张量映射的修改。该版本提供了适用于 macOS、Linux、Android、Windows 和 openEuler 的多种预编译二进制文件,涵盖 CPU、Vulkan、CUDA、ROCm、Ope

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Qwen-3.8-27B 去审查版 8 位 MLX 量化发布

junafinity 发布了 Qwen-3.8-27B-Uncensored-8-Bit-MLX,这是对 Qwen-3.8-27B-Uncensored 的 8 位 MLX 量化版本,专为 Apple Silicon 设计,磁盘占用 28GB,视觉塔保持 bf16 未量化。该模型通过 ZeroFuse 权重编辑实现去审查,旨在用于红队和防御性网络安全研究,作

正文结构化主题已通过公开置信门槛
THE DECODER产品发布

RayNeo 发布无摄像头 AI 眼镜,专注文本叠加

RayNeo 发布新款 AI 眼镜 RayNeo iO,无摄像头和扬声器,通过绿色波导显示屏在视野中叠加文字,透明度 97%,亮度约 1300 尼特。眼镜可监听对话、总结内容、提取行动项并建议日历条目,用户可通过点头确认,还支持提词器模式和 40 种语言的语音转文字翻译。设备内置四个麦克风和骨传导传感器,麦克风激活时 LED 亮起。出厂预装 RayNeo A

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

SenseNova-U1-8B-MoT-Merger-gguf 模型发布,支持 ComfyUI 8G 显存

Hugging Face 上发布了 SenseNova-U1-8B-MoT-Merger-gguf 模型,该模型基于 SenseNova-U1-8B-MoT,支持在 ComfyUI 中运行,并针对 8GB 显存进行了优化。模型提供 Q4 和 Q6 量化版本,并展示了文本到图像生成的测试效果。

正文结构化主题已通过公开置信门槛
SGLang Releases一手来源产品发布

SGLang v0.5.18 发布:新增多模型支持与性能优化

SGLang 发布 v0.5.18 版本,包含 710 个 PR,来自 212 位贡献者。新增支持 Muse Glimmer、Intern-S2-Mobius、SANA-Video、LingBot-Video-MoE、LTX-2.5、Cosmos3 Edge & Distilled、LongCat-Image 等模型,并优化了启动性能、LMHead 通信和缓

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Qwen3.8-27B 编码专用 GGUF 量化系列发布

quimmedes 发布了 Qwen3.8-27B 的 GGUF 量化版本(XYZ 系列),专注于编码任务,提供从 Q1Q 到 Q8 及 ULTRA 的多种量化档位,并支持 MTP 投机解码和视觉投影。该系列通过每张量量化配方保留关键张量精度,并针对代码测试套件优化,但明确不追求通用知识性能。用户可通过 llama-server 使用 OpenAI 兼容 A