返回主题地图

多模态

技术方向 · 文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品 · 共 1342 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月16日周五 · 9 条
正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源模型发布

Apertus 1.5 发布:新增多模态与思考模式,完全开源

Apertus 1.5 是对第一代模型的持续预训练版本,为 8B 模型新增 4 万亿 token、为 70B 模型新增 2 万亿 token 的文本与多模态训练数据,总训练量分别达 19T 和 17T。新版本引入原生多模态理解(图像与音频)、思考模式、262,144 token 长上下文、改进的指令遵循与工具使用能力,并继续完全开源权重、数据、价值观和训练细

正文结构化主题已通过公开置信门槛
TechCrunch AI模型发布

Meta 发布可在 Mac 上运行的开源权重模型

Meta 发布名为 Muse Spark Open 的开源权重模型,称其为美国“最强”开放权重模型,并针对 Mac 本地运行设计。该模型拥有 8160 亿参数和 100 万 token 上下文窗口,原生多模态,面向复杂编程与智能体任务,但本地运行至少需要 1TB 内存,最佳运行设备为搭载 M5 Ultra 芯片的 Mac Studio。Meta 将其与 AI

正文结构化主题已通过公开置信门槛
THE DECODER模型发布

Meta 发布开源权重模型 Muse Spark Open,对标 Qwen、GLM 与 Kimi

Meta 发布开源权重模型 Muse Spark Open,称其为美国最强开源权重模型,面向编程与智能体任务,拥有 8160 亿参数(激活 420 亿)、最高一百万 token 上下文,并支持文本、图像、视频和音频。Meta 表示其在 JobBench、MCP-Atlas、HLE-Diamond、ZeroBench 等基准上多个类别领先 Qwen 3.8、G

正文结构化主题已通过公开置信门槛
The Verge AI模型发布

Meta 与 Apple 合作,让 Muse AI 模型在 Mac 上运行更佳

Meta 发布开源权重模型 Muse Spark Open,宣称是迄今最强的美国开放权重模型,也是同类中首个可在桌面端运行、需两台搭载最新 MLX 框架的 Apple M5 Ultra Mac Studio。Meta 与 Apple 罕见合作,双方 CEO 公开互相支持,Meta 首席 AI 官称两家公司已协作数月。该模型为原生多模态,总参数 8160 亿,

正文结构化主题已通过公开置信门槛
Transformers Releases一手来源开源

Transformers v5.20.0 发布:新增多个模型支持

Hugging Face Transformers 发布 v5.20.0,新增多个模型支持,包括 Meta 的多模态 MoE 模型 Muse Spark Open、InclusionAI 的 Ling 3.0 Flash、Aleph Alpha 的 Kolibri 1、OpenBMB 的 MiniCPM-V 4.7、百度的 UnlimitedOcr、Ultr

正文结构化主题已通过公开置信门槛
NVIDIA Technical Blog一手来源模型发布

NVIDIA 发布 Nemotron 3.5 Super VL 多模态智能体模型

NVIDIA 发布 Nemotron 3.5 Super VL,一个开放可定制的多模态模型,采用 120B 参数 MoE 架构,每 token 激活 12B 参数,单 GPU 上 agentic 任务吞吐量最高提升 5 倍。该模型融合推理、指令遵循、工具使用与文本、图像、文档、视频理解,开发者可用 NVIDIA NeMo 基于自有数据进行后训练,构建企业专用

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
NVIDIA Technical Blog一手来源模型发布

Meta 发布 Muse Spark Open 编码模型,在 NVIDIA GB300 NVL72 上扩展智能体编码工作流

Meta 发布面向编码优化的 816B 混合专家模型 Muse Spark Open,激活参数 42B,支持 100 万 token 上下文窗口,并在 NVIDIA GB300 NVL72 上训练以适配智能体编码工作流。该模型具备多步任务执行、工具调用、子智能体协调和计算机使用能力,同时原生支持文本、图像、视频和音频感知。NVIDIA 提供 SGLang、v

正文结构化主题已通过公开置信门槛
智东西产品发布

华为首次深度解密麒麟2026韬定律及多项技术细节

华为在上海举办为期两天的深度技术沟通会,由终端BG CTO李小龙和半导体业务无线终端芯片产品管理部部长徐松余主讲,首次详细对外解读麒麟9050系列背后的韬定律、逻辑折叠、混合键合等技术细节,以及影像、屏幕、铰链等九大技术品牌。这是华为时隔6年再次详细解读麒麟芯片,并披露了未来10年芯片路线图及端侧30B大模型跑通等进展。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp v0.7.0 发布:新增 MoE 专家 GPU 缓存与多种投机解码

llama.cpp 发布 v0.7.0,新增 LiliCorr 投机解码技术、GLM5-Next 的 MTP 投机解码,以及面向 MoE 专家权重的 GPU 缓存(--moe-cache-mib,专家卸载时解码最高约 2.2 倍加速)。同时新增 K2 Horizon、Prism Bonsai 2 27B、EmbeddingGemma-2、LiquidAI d

10月15日周四 · 11 条
正文结构化主题已通过公开置信门槛
NVIDIA Generative AI Blog一手来源模型发布

NVIDIA 扩展 Nemotron 家族:推出 Super VL 与 Bolt 模型

NVIDIA 发布 Nemotron 3.5 Super VL 开源 1200 亿参数模型,面向常驻智能体,任务完成速度比同类最佳模型快 5 倍,精度接近其最大推理模型但参数量约为五分之一。同时推出两款边缘模型 Nemotron 3.5 Bolt 74B-A9B 24GB 和 Bolt E4B 4GB,覆盖从企业服务器到本地设备的智能体部署。多家机构正基于自

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论产品发布

海康威视工博会发布百余款工业AI产品,观澜大模型落地多场景

海康威视在2026中国工博会(IAS2026)上以“物联感知+AI,加速工业场景数字化”为主题,展出100余款场景数字化产品并发布十余款新品,覆盖质量检测、设备监测、生产运营、安全生产等环节。公司依托海康观澜大模型及X光、超声、听诊、测温等专用大模型,推出产线行为SOP检测、3D AXI半导体封装检测、超声无损检测、定位型听诊光纤、四合一高清可视高温计等方案

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论产品发布

破晓智能联合天珑移动发布SeePhys Hub全身全模态数据采集系统

破晓智能联合天珑移动发布全身全模态数据采集系统 SeePhys Hub,由四目头环、腕部手环、腰腿部动作追踪器和触觉手套组成,可同步采集第一视角视觉、手部全模态数据与全身运动信息。该系统是团队沿 EgoTouch、TouchAnything、TouchWorld 技术路线推出的首款工程化产品,配套自研平台可将人类数据转化为机器人学习训练数据。破晓智能由哈工大

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
量子位商业

苹果AI国内上线,阿里百度浮出水面

苹果 Apple Intelligence 在中国大陆上线进入最后阶段,计划于今年 12 月通过 iOS 27.3 系统更新正式推出,首批上线的是两年前已在美国发布的 AI 功能,覆盖 iPhone、iPad 和 Mac,不包含今年发布的全新 Siri AI 助手。苹果在华与百度就搜索及 Siri 相关功能合作,并将阿里 AI 模型(含通义万相和 Qwen)

正文结构化主题已通过公开置信门槛
量子位商业

前华为小艺大模型负责人创业,押注主动式物理AI

前华为小艺大模型负责人唐都钰创办观行数智,提出并押注“主动式物理AI”,即让AI在无明确指令下自主判断何时、如何介入现实事件。团队设计了双模型协同架构ProAgent(StreamingJev负责流式判断、Response Model负责决策执行),并建立自动化数据流程与评测体系ProactiveXBench。据称在介入时效等指标上,其ProAgent已优于

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

CLASHarness:可控可验证的多智能体计算机使用冲突基准

该论文提出 CLASHarness,一个可控且可验证的多智能体冲突生成框架,用于评测视觉语言模型在计算机使用场景中的冲突解决能力。它通过分层场景规划、预提交多模态事实和执行编译验证,构建了包含 600 个多轮任务、20 个操作域、7970 个视觉资产和 3760 个混合检查器的基准。对 15 个前沿模型的评测揭示三大瓶颈:弱模型盲从误导信息而强模型会核查视觉

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

VLM为何在远程生理测量上失败?VITAL框架提出生理接地与数值对齐

该论文研究视觉语言模型(VLM)在远程生理测量(RPM)任务上的失败原因,指出两大瓶颈:通用视觉语义表示无法保留细粒度生理线索,以及自回归离散 token 预测与连续数值测量之间的错位。作者提出 VITAL 框架,保留原有语义视觉通路并新增独立生理通路生成 PhysTokens,同时用结构化数值对齐改进心率估计。实验表明 VITAL 在多个 rPPG 数据集

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

编码智能体在视觉生成中能走多远?

该研究探索通用编码智能体通过可执行程序进行视觉生成的能力,提出AgentDrawBench基准(200个提示)评估零样本绘图。结果显示,编码智能体在结构保真度和精确视觉约束上表现优异(如GPT-6-Astra配合Canvas 2D达85.8%结构保真度),但在感知丰富度上不及原生图像生成器。研究进一步提出视觉代码可作为外部视觉思维语言,在视觉问答中代码重建保

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

双分支图蒸馏结合语义先验的鲁棒冷启动推荐

香港科技大学(广州)的研究者提出 DualGCN,一种双分支图知识蒸馏框架,用于解决严格冷启动推荐中因物品拓扑孤立导致的表征崩溃问题。该方法采用解耦的两阶段训练:先构建由拓扑平滑语义先验锚定的协同教师网络,再用语义学生分支通过残差映射和余弦蒸馏目标实现跨模态对齐,并引入动态范数重建机制校准新旧物品的尺度。在三个真实数据集上的实验表明,DualGCN 在严格冷

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

Lotus:通过预测学习理解时间序列

该论文提出了一种名为 Lotus 的时间序列语言模型,通过「预测性 grounding」预训练原则,要求语言对齐的时间序列表示在适配下游任务前仍能预测未来演化。Lotus 将每个时间序列通道划分为不重叠的 patch 并映射到 LLM 嵌入空间,同时提出结合原始 patch 与频谱表示的时频 patch 表示。在三种语言模型骨干和六个下游数据集上,Lotus

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

ATAS:以世界状态为中心的智能体视频生成框架

研究团队提出 Any Time, Any Space(ATAS)框架,用于长视频的智能体生成。该框架将剧本编译为带有明确位置、相机和事件时间引用的镜头请求,并借助场景记忆(静态几何)与事件记忆(按场景、事件、时间索引的动态观测)在生成前后检索与注册证据,从而保证非连续请求间的空间与时间一致性。在四种视频生成器上,ATAS 提升了跨镜头一致性指标并取得最高综合