返回主题地图

多模态

技术方向 · 文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品 · 共 1343 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

9月26日周六 · 6 条
正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

SpaFactor:轻量级空间上下文基因程序建模用于组织学-转录组推断

清华大学深圳国际研究生院等机构提出 SpaFactor,一种轻量级低秩形态-程序-基因分解框架,用于从常规 H&E 染色图像推断空间转录组基因表达。该方法融合中心位点视觉表征与多尺度邻域上下文,用残差 MLP 学习组织微环境到低维潜在基因程序的非线性映射,再通过共享基因载荷解码多基因表达。在五个公开队列上取得最佳综合性能,对空间可变基因提升尤为明显,并能更忠

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

SMILESGNN:SMILES-图交叉注意力融合的可解释临床毒性预测

研究者提出 SMILESGNN,一种通过交叉注意力融合 SMILES Transformer 编码器与 GATv2 图编码器的多模态架构,用于药物毒性预测,并保留显式图分支以支持 GNNExplainer 解释。在 ClinTox 上以仅 0.4M 参数取得 AUC-ROC 0.987、F1 0.906,优于所有图单模态基线;其预训练变体 SMILESGNN

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

Ling-3.0-flash-VL 多模态模型 GGUF 量化版发布

Hugging Face 用户 bloomer010 发布了 inclusionAI/Ling-3.0-flash-VL 的 GGUF 量化版本,基于 llama.cpp 运行。该模型为 124B 总参数、每 token 仅激活 5.5B 的 MoE 多模态模型,支持图像和视频输入,原生 128K 上下文,可通过 YaRN 扩展至 256K。llama.cp

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11190 修复 LFM2 音频 mel 预处理器

llama.cpp 发布 b11190 版本,修复了 LFM2 音频模型(lfm2a)的 mel 预处理器。原实现导致英语测试语句 4.5%、日语 6.5% 的贪心转录结果与参考实现不一致,日语中部分差异甚至改变整个词。修复采用 log(x + 2^-24) 替代对数下限截断、对称 Hann 窗,并将归一化 epsilon 加到标准差而非平方根内,仅 lfm

正文结构化主题已通过公开置信门槛
Xinference Releases一手来源开源

Xinference 发布 v3.5.0:新增多模型支持与请求日志可观测性

Xinference 发布 v3.5.0,新增 AuK、Irodori TTS、YuE2、Spark-X2.5、Qwen-Image-2.1、MinerU2.5 等多种音频、图像与 LLM 模型支持,并加入模型请求日志、审计与可观测性功能。性能方面优化了 embedding/rerank 的 vLLM 批处理与 API 启动开销,同时修复了流式工具调用、客户

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源教程

在 SageMaker HyperPod 上用 SkyRL 加速多模态 RL 训练

AWS 博客介绍在 Amazon SageMaker HyperPod 上使用开源 RL 框架 SkyRL 进行多模态强化学习训练。方案以 Qwen3-VL-8B 视觉语言模型为策略模型,采用 GRPO 算法训练其走 2D 迷宫,从 VisGym SFT 检查点出发,在固定 64 迷宫评测集上把解迷宫成功率从 43.75% 提升到 95% 以上。HyperP

9月25日周五 · 14 条
正文结构化主题已通过公开置信门槛
The Verge AI产品发布

Apple Home 摄像头 AI 功能实测:能否胜过亚马逊和谷歌?

The Verge 记者实测 Apple 随 iOS 27 在 HomeKit Secure Video 上推出的 Apple Intelligence for Home 摄像头 AI 功能,并与 Amazon Ring、Google Nest 的同类功能对比。Apple 可生成文字描述、自然语言视频搜索、合并相关事件并减少通知,但需搭配 iCloud Pl

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

ggml-org 发布小米 MiMo-V2.6-Flash-RL 的 GGUF 量化版

ggml-org 在 Hugging Face 上发布了小米 MiMo-V2.6-Flash-RL 的 GGUF 量化版本,支持通过 llama.app 运行。该版本提供 MXFP4、Q2 K 等多种量化输出,并附带用于投机解码的 MTP 与 DFlash drafter sidecar,以及面向视觉和音频编码器的 Q8 0 mmproj。模型由 ggml-

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

GLM-5.3-Flash W4A16 INT4 量化版发布,体积减70%

canada-quant 发布了 GLM-5.3-Flash 的 W4A16(INT4)量化版本,仅对 36,288 个路由专家 GEMM 做 GPTQ 对称 INT4 量化,注意力、路由、共享专家、嵌入、视觉塔和 MTP 头保持 BF16。模型体积从约 599 GiB 降至 177.7 GiB(-70%),可在 H100、H200、RTX PRO 6000

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

Pistis多模态大模型技术报告:IDRL后训练框架与PAH系统

该技术报告介绍了Pistis多模态大语言模型系列,包含基于Qwen3.6的27B和基于Qwen3.5的9B两个规模,采用通用可扩展的后训练框架。框架先进行大规模多模态监督微调,再提出交错蒸馏与强化学习(IDRL)新范式,在单一训练循环中交替进行同策略蒸馏和强化学习,提升知识迁移、优化稳定性和长程智能体轨迹的信用分配。模型分为Pistis-Thinking和P

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

跨国语码混合的生成式推荐框架 CMRec

该论文提出 CMRec,一个面向跨国电商场景的生成式推荐框架。由于各国用户与商品 ID 空间彼此独立,现有生成式推荐仅在参数层面共享知识,数据层面缺乏跨国监督。CMRec 借鉴多语言 NLP 的语码混合思路,先学习跨模态内容与行为共现的共享语义码本,再通过满足静态(内容)与动态(价格、受众、热度)双重约束的 token 级替换合成跨国序列,并引入上下文感知损

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

RedHatAI 发布 Qwen3.8-27B-NVFP4 量化模型

RedHatAI 发布了 Qwen3.8-27B-NVFP4,这是对 Qwen/Qwen3.8-27B 的混合精度量化版本,采用 FP4/FP8 方案,MLP 投影量化为 FP4,注意力投影和最终 MLP 层量化为 FP8,KV 缓存量化为 FP8,语言模型头保持全精度。该模型使用 LLM Compressor 结合 AWQ 与 GPTQ 在 perfect

正文结构化主题已通过公开置信门槛
Latent Space模型发布

Runway 发布 GWM Worlds 2 与 WorldPrompt 实时世界模型

Runway 推出 GWM Worlds 2 研究预览版,将高保真视频与音频生成转变为实时交互式模拟,并引入 WorldPrompt 输入格式用于指定生成世界及其中动作。该模型采用自回归扩散架构,通过微调、后训练和蒸馏实现 720p/24fps 视频与 48kHz 音频的实时流式生成。Runway CTO 与首席研究科学家在采访中讨论了 WorldPromp

正文结构化主题已通过公开置信门槛
The Verge AI产品发布

Google Gemini 3.8 Live 推出 Live Avatar 功能

Google 发布 Gemini 3.8 Live 更新,新增 Live Avatar 功能,让用户在与模型对话时看到实时动画 AI 形象进行唇形同步和表情反馈。该功能目前仅面向 Gemini Enterprise 客户,支持 97 种语言切换且不降低视频保真度,并允许企业创建自定义形象。输出带有 SynthID 隐形水印及身份保护措施。

正文结构化主题已通过公开置信门槛
TechCrunch AI产品发布

PrismML 将微型 LLM 带入高通芯片智能眼镜

由加州理工学院研究人员创立、UC Berkeley 的 Ion Stoica 担任顾问的 AI 实验室 PrismML,为搭载高通 Snapdragon 芯片的智能眼镜开发了其微型语言模型版本。在高通 Snapdragon 峰会上,高通展示了 PrismML 的 1-bit Bonsai LLM,可在基于 Snapdragon AR1 Gen 1 平台的 A

正文结构化主题已通过公开置信门槛
智东西模型发布

爱诗科技发布实时世界模型PixVerse R2,登X趋势榜第二

爱诗科技(AIsphere)发布实时世界模型PixVerse R2,9月22日上线当天登上X趋势榜第二。用户可在其生成的世界中通过WASD移动、用自然语言改变场景与剧情,实现从“看视频”到“进入世界”的交互。技术上,R2通过Omni Causal AR扩展世界建模能力,并用Real-Time Acceleration将能力带入实时运行区间,探索实时世界模型的

正文结构化主题已通过公开置信门槛
智东西商业

稚晖君智元300台人形机器人入驻长隆主题乐园

智元与长隆在横琴长隆飞船乐园部署超300台人形机器人,打造全球首个大规模具身智能主题乐园,覆盖文娱商演、导览导购、服务零售等七大场景,并交付第20000台具身智能机器人A3 Ultra。机器人依托自研硅光动语WITA大模型和灵心平台实现多语言交互与角色定制,但现场仍需约3:1的人工配比,存在响应卡顿、嘈杂环境识别困难等问题。双方采用采购模式而非租赁,并联合中

正文结构化主题已通过公开置信门槛
智东西模型发布

科大讯飞发布全国产算力语音识别大模型Spark-ASR-2.0

科大讯飞于9月24日推出语音识别大模型Spark-ASR-2.0,基于全国产算力训练的语音基座模型Spark-Audio-1.0-Preview构建,重点提升通用识别、复杂声学场景识别、上下文识别和文本流畅规范性。该模型融合非自回归与LLM增强的自回归识别能力,通过投机解码实现先快速识别再重点纠错,推理成本较上代仅增10%,已上线讯飞输入法并通过讯飞开放平台

正文结构化主题已通过公开置信门槛
THE DECODER模型发布

Black Forest Labs 发布开源机器人 AI 模型 FLUX 3 Action

Black Forest Labs 发布面向机器人领域的开源 AI 模型 FLUX 3 Action,它基于多模态 FLUX 3 构建,属于 world-action 模型,可接收机器人工作区的多摄像头视频并预测下一步动作及环境变化。据 BFL 称,该模型仅用 70 亿参数就在 RoboLab-120 排行榜上创下成功率纪录,规模不到此前最佳开源模型的一半,

正文结构化主题已通过公开置信门槛
TechCrunch AI产品发布

Google Photos 虚拟衣橱功能登陆 iOS 和 Android

Google 将其 AI 驱动的虚拟衣橱功能推广至美国、巴西和印度的所有 iOS 与 Android 用户,该功能可根据照片中的穿着自动整理衣物并支持分类筛选与搭配。此次更新还伴随 Google Photos 的多项新功能,包括 Gemini Spark 单提示词选图、提亮与分享,升级版标记工具,以及更多 AI Remix 模板。Google 表示用户穿着数