返回主题地图

多模态

技术方向 · 文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品 · 共 1342 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月19日周一 · 2 条
正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

多模态模型能否正确解析天文视觉问答数据集?

研究者构建了一个面向天文天空图像的领域特定VQA数据集,包含2001张部分合成图像(等分为等高线图、NASA SkyView真实望远镜图像和GMM生成的假天空图像)及47357个问题,每张图同时提供原始版本和模拟历史页面老化的退化版本。测试三种低成本专有LMM后发现,模型在高精度回答领域特定问题时经常失败;与104张经人工验证的历史期刊图像对比,角度范围中位

正文结构化主题已通过公开置信门槛
SGLang Releases一手来源开源

SGLang v0.5.22 发布:新增多模型支持与推理性能提升

SGLang 发布 v0.5.22 版本,包含来自 245 位贡献者的 950 个 PR。新增 Clef、PPLX-Decider、EmbeddingGemma 2、HunyuanImage-3.0-Instruct 等模型支持,DeepSeek-V4.1 在 H200 上吞吐提升最高 2.3 倍并支持 AMD MI350X/MI355X,InstantTe

10月18日周日 · 1 条
正文结构化主题已通过公开置信门槛
vLLM Releases一手来源开源

vLLM 发布 v0.32.0:新增结构化决策端点与低精度 KV cache

vLLM 发布 v0.32.0,包含来自 363 位贡献者的 814 次提交。该版本新增 POST /v1/systemone 结构化决策端点与通用 hf 工具/推理解析器,将低精度 KV cache 扩展至 NVFP4、FP8 等多种硬件平台,并推出 Model Runner V2 的多项能力。同时修复三个 GHSA 安全漏洞,并包含移除 Python 3

10月17日周六 · 3 条
正文结构化主题已通过公开置信门槛
Interconnects AI模型发布

Meta 发布 Muse Spark Open 等模型,重塑开源前沿格局

Meta 发布开放权重模型 Muse Spark Open(816B 总参数/42B 激活参数,1M 上下文,原生多模态),成为当前最强的美国开源模型,显著缩小了美国与中国开源模型之间的差距。文章同时提到 Reflection 的 Beam 和 Mistral Large 4 等新模型,并分析 Meta 自定义许可证中的署名、营收门槛等限制可能影响采用。此外

正文结构化主题已通过公开置信门槛
Latent Space商业

Latent Space 新节目与 AI 资讯:Meta 开源 Muse Spark Open 等

Latent Space 推出新节目 High Taste Testers 并汇总 2026 年 10 月 15-16 日 AI 资讯。Meta 发布 816B 总参数、42B 激活的开放权重 MoE 模型 Muse Spark Open,在 Artificial Analysis 智能指数上得 39 分,为美国开放权重模型最高分。Reflection 发布

正文结构化主题已通过公开置信门槛
TechCrunch AI模型发布

Elorian发布首个AI模型Glimpse,主打图像推理而非仅描述

帕洛阿尔托AI初创公司Elorian发布首个模型Glimpse,该模型以研究预览形式推出,提供API访问,聊天界面仅限候补名单。Glimpse的核心思路是让模型在推理过程中反复回到图像源,通过裁剪、抽帧或运行代码来测量和比较视觉内容,Elorian称之为“视觉暂存空间”。公司称该模型用几百块GPU训练,规模远小于前沿系统,在科学图表推理和短视频描述任务上表现

10月16日周五 · 14 条
正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

NVIDIA 发布 Nemotron 3.5 Bolt 74B-A9B 全精度视觉语言模型

NVIDIA 在 Hugging Face 上发布了 Nemotron 3.5 Bolt 74B-A9B 的 BF16 全精度版本,这是一款面向本地智能体任务的视觉语言模型,采用 Mamba-2 与 Transformer 混合的 LatentMoE 架构,配备 C-RADIO v4-H 视觉编码器,支持最高 256K 上下文及文本、图像、视频输入。该版本主

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Unsloth 发布 MiniMax-H3 的 GGUF 量化版,支持本地视频生成

Unsloth 发布了 MiniMax-H3 的 GGUF 量化版本,支持本地运行,兼容 stablediffusion.cpp 和 Unsloth 平台。该模型能生成带原生立体声音频的视频,最长 15 秒、24 FPS、32 kHz 音频。提供两种去噪器变体(fl2va 和 ref2va)及多种量化等级,并附有使用示例和许可证说明。

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

OpenAI基础设施负责人将离职;DeepSeek宕机补偿;苹果AI国行12月上线

OpenAI基础设施负责人Sachin Katti宣布将于11月15日离职,由计算首席技术官Uday Ruddarraju接任领导整体计算部门,这是OpenAI今年一系列高管离职的最新一起。国内方面,DeepSeek因API服务故障向用户发放全额赠金补偿,年内已至少18次服务异常;阿里加码AI硬件品牌并联动天猫、速卖通;国行版苹果AI有望12月上线,百度、阿

正文结构化主题已通过公开置信门槛
量子位模型发布

优必选 Thinker-WM 登顶三大具身世界模型基准

优必选发布自研统一多模态世界模型 Thinker-WM,在 WorldOlympiad、EWMBench、WorldArena1.0 Track-1 三大具身世界模型基准评测中均取得第一名。该模型以 Unified Dynamic Transformer(UDT)为核心,将 RGB 视频、深度和机器人动作编码到同一共享表征空间联合演化,单套权重支持视频-动作

正文结构化主题已通过公开置信门槛
量子位商业

四川具身科技超1亿元融资,人形机器人爱湫冲刺万台量产

四川具身人形机器人科技有限公司(EIR)完成超1亿元Pre-A轮融资,获四川省、市、县三级国资联动支持,资金将用于人形机器人“爱湫”的迭代研发、万台级生产基地建设和销售体系搭建。爱湫起售价9.8万元,主打“Emotion Native”情感陪伴,采用3D超短焦投影面部方案,并依托全栈自研与全身VLA数据链路构建数据飞轮。公司计划2026年底在德阳投产量产基地

正文结构化主题已通过公开置信门槛
量子位模型发布

Gemini 4 Argon 发布:谷歌重回御三家,API 限时半价

谷歌正式发布旗舰模型 Gemini 4 Argon,面向全球开发者、企业及付费订阅用户开放,重点强化编程、专业知识工作、长流程任务执行与多模态能力。官方评测称其整体达到 GPT-6 Astra、Opus5.5 水平,第三方 Artificial Analysis 智能指数与二者并列 53 分,且平均每任务成本约 1.99 美元,比 Astra 低约 39%。

正文结构化主题已通过公开置信门槛
Latent Space研究

智能体破解多义性;Meta 发布 Muse Spark Open

Goodfire 的 Nick Cammarata 发表文章提出「神经网络已经是干净的」理论,认为多义性和叠加现象可通过进一步的智能体分析化解,从而提升可解释性与对齐,并可能降低 P(doom)。Meta 发布 Muse Spark Open,这是一个 816B 总参数/42B 激活的 MoE 模型,支持 1M token 上下文和多模态输入,在 Artif

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

BD-HazardVLM:评估视觉语言模型在孟加拉国道路场景中的潜在防御性驾驶危险

研究者提出 BD-HazardVLM,一个包含 500 张孟加拉国道路场景图像的诊断基准,用于评估视觉语言模型的防御性驾驶推理能力。他们用统一零样本任务定义和结构化输出模式测试了 Qwen2.5-VL-7B、InternVL3-8B 和 MiniCPM-V-4.6。结果显示,二分类危险存在准确率(88.0%-89.2%)与多数类基线(89.0%)基本持平,而

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

MeddeX:结合RAG与Gemini Vision的LLaMA-3医疗报告分析系统

该论文提出 MeddeX,一个面向医疗报告分析的系统,将 QLoRA 微调的 LLaMA-3(8B)模型与检索增强生成(RAG)及 Gemini Vision 多模态层结合,用于生成准确、简洁且有证据支撑的医疗文档摘要。系统支持文本型 PDF、扫描图像 PDF 和放射影像,并引入垃圾文本检测、报告范围检索、纵向报告对比和惰性回填管线。与基础 LLaMA3-M

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

WorldCast:多步世界状态预测的视觉生成基准

来自清华、美团 LongCat、港中文、北大、MBZUAI、上交、华科的研究者提出 WorldCast 基准,用于评估多模态生成模型在多步世界状态预测中的能力。该基准包含 8 个类别共 320 个人工设计案例,评测了 12 个代表性模型。结果显示 GPT-Image-2.5 System 得分 72.8,展现出初步的真实世界视觉状态预测能力,而 Nano B

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

信息增益校准的深度搜索智能体在线策略蒸馏

该论文针对深度搜索智能体的在线策略蒸馏(OPD)提出改进方法 IG-OPD。作者指出标准 OPD 存在“证据盲监督”(EBS)问题:监督仅基于检索前上下文,导致预算先验按 token 量分配监督、方向先验偏向教师偏好,而忽略检索到的证据实际效用。IG-OPD 利用检索后信息增益校准这两个先验,在六个多模态搜索基准上使 2B 和 4B 学生模型平均准确率分别提

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

OmniCompass:全模态视频定位与理解整体基准

研究团队提出 OmniCompass,一个面向全模态视频定位与理解的整体性基准,通过时序定位、空间定位和问答任务评估视觉-语言与音视频推理能力。该基准包含 OmniCompass-VL 和 OmniCompass-AV 两条评测轨道,共 820 个视频、2460 个实例,并配有 240 个视频、720 个实例的音视频子集,所有实例均经人工多轮质量校验。对 5

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论模型发布

可灵Kling 4.0上线:30秒原生直出、10-bit HDR

可灵AI于10月15日正式上线新一代视频生成模型Kling 4.0,聚焦高动态、强运镜场景,支持最长30秒原生直出、10-bit HDR输出、最多15项参考素材与10张关键帧输入,续拍最长可延展至2分钟。该模型已接入可灵MCP与CLI,并即将通过API向企业客户与开发者开放。可灵AI称其已在全球224个国家和地区吸引超1亿用户,服务超5万家企业,年收入达5亿

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源模型发布

Intern Lumina U2:多码本扩散语言模型统一全视觉理解与生成

研究团队发布 Intern Lumina U2,一个基于多码本离散视觉 token 的扩散语言模型,在单一骨干网络中统一图像、视频、3D 的理解、生成与编辑。该模型为 16.9B MoE 架构,仅激活 1.4B 参数,是首个在全离散空间建模多码本视觉 token 的扩散语言模型。通过 Plateau-Halton 采样与 V-verify 策略,图像生成端到