返回主题地图

多模态

技术方向 · 文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品 · 共 1342 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月24日周六 · 8 条
正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

SoAI 发布 Qwen3.5-4B GGUF 量化版

SoAI 在 Hugging Face 发布了 Qwen3.5-4B 的 GGUF 量化版本,提供 Q4 K M 与 Q8 0 两种量化文件,并附带用于图像输入的 mmproj 组件。该版本基于 Qwen 原模型量化,支持思考、图像输入与工具调用,上下文窗口达 256K,可通过 llama.cpp 在本地运行并提供 OpenAI 兼容 API。其 Q4 K

正文结构化主题已通过公开置信门槛
THE DECODER模型发布

Block 推出纯语音训练的 AI 模型 Dessa,可捕捉文本模型遗漏的情绪

Block(Square 和 Cash App 的母公司)发布了一款名为 Dessa 的语音 AI 模型,号称是首个完全基于人类语音、不含任何文本数据、从零训练而成的模型。Dessa 直接以音频形式处理语音,能实时捕捉情绪、讽刺、笑声和停顿,并支持全双工交流,可在 MacBook Pro M4 Max 上本地运行。该模型目前尚未公开,团队正招募 AI 安全研

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

nerkyor 发布 Qwen3.8-27B 多轮后训练 GGUF 量化模型

Hugging Face 用户 nerkyor 发布了 Qwen3.8-27B 的 GGUF 量化仓库,该模型在官方 Qwen3.8-27B 基础上经过多轮 SFT 与 RLOO 后训练,旨在修复原模型反复推导、无法停止并触及 94K 上限的问题。仓库提供 Q2、Q3、Q4 LynnStyle、Q6 K、Q8 0 等八种 GGUF 包及配套 NInfer 包

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论产品发布

百度健康AI服务MAU超5000万,发布好医矩阵与健康相机

百度健康在10月24日宣布升级文心健康管家,发布「好医矩阵」和「健康相机」,其中健康相机支持视频、方言语音、拍照等多模态输入,用于辅助患者描述健康问题。百度健康同时推出好医答咨询室,接入15万+三甲真人医生提供7 24小时在线问诊,并宣布好医加号打通线下就医链路。百度健康AI服务月活跃用户已超5000万,位列行业第一,并启动好医联盟与好医开放计划,向行业伙伴

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11851:LFM2 图像缩放对齐 torchvision

llama.cpp 发布 b11851 版本,主要更新 mtmd 多模态模块:为 LFM2 和 d1-omni 视觉模型新增与 torchvision 一致的 bilinear 和 bicubic 图像缩放算法,通过将 Pillow 移植版的权重舍入到 int16 精度再缩放回 22 位,使输出与 torchvision 相同。此前 Pillow 移植版在约

正文结构化主题已通过公开置信门槛
Latent Space模型发布

Kimi K3.1 Pro 发布:2.8T 开源权重模型逼近闭源前沿

Moonshot 发布 Kimi K3.1 Pro,这是一个 2.8 万亿总参数、1040 亿激活参数的多模态 MoE 模型,支持 100 万 token 上下文,API 已上线并提供速度提升 2-3 倍、价格翻倍的 Highspeed 版本,同时推出 Kimi Hosted Agents 托管执行环境。Artificial Analysis 将其排在 In

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论观点

声网CEO赵斌提出对话AGI五级对话能力框架

声网创始人兼CEO赵斌在iRTE2026实时智能大会上发表演讲,提出对话式AI从L1基础应答到L5深度关系沟通的「五级对话能力」框架,并强调实时互动基础设施是支撑对话AGI的关键。大会另设两场圆桌,分别讨论个人智能体能否成为下一代入口,以及对话式AI在具身智能、AI眼镜、企业营销与招聘等场景的落地。整体呈现对话式AI竞争从模型能力延伸至上下文理解、实时交互与

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
Simon Willison's Weblog教程

快速实验:让 Claude Opus 5.5 用 canvas 模拟画笔绘制照片

Simon Willison 在博客中记录了一次快速实验:他向 Claude Opus 5.5 High 提出提示词,要求构建一个 artifact,能够打开照片并在几秒内用 canvas 元素和模拟画笔快速绘制出该照片的版本。文中还提及他此前让 Claude Fable 用 P5.js 模拟水彩插画的实验。

10月23日周五 · 12 条
正文结构化主题已通过公开置信门槛
Ollama Releases一手来源模型发布

Ollama v0.40.10 支持 NVIDIA Nemotron 3.5 Bolt E4B

Ollama 发布 v0.40.10 版本,新增支持 NVIDIA 的 Nemotron 3.5 Bolt E4B 模型。该模型是基于 Gemma 4 的视觉语言模型,面向本地快速对话、图像理解和工具调用,支持 128K token 上下文窗口,并内置 DFlash 草稿模型用于投机解码。用户可通过 ollama run nemotron-3.5-bolt:

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源模型发布

腾讯开源 WeVisOne-VL:统一目标级与像素级视觉感知

腾讯(微信团队)发布 WeVisOne-VL(WeChat Vision All-in-One),一个通过结构化下一 token 预测统一目标级与像素级视觉感知的视觉语言模型。该模型借助特殊 token 将轻量像素解码器接入 VLM,支持检测、指代定位、计数、OCR、分割与抠图等任务,并采用三阶段课程式 SFT 加混合任务 RL 训练。在 30 多个基准上,

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Minimax-h3 Singularity V2 INT8 微调视频生成模型发布

开发者 WarmBloodAban 在 Hugging Face 发布 Minimax-h3 Singularity V2 INT8,这是基于 MiniMaxAI/MiniMax-H3 微调融合的多模态视频生成模型,支持文生视频、图生视频、参考生视频和视频生视频,可在 ComfyUI 中使用。V2 版本扩展了动作场景覆盖、增强了提示词遵循度、修复了音频参考条

正文结构化主题已通过公开置信门槛
THE DECODER模型发布

Canva 发布首个自研图像模型 Craft

Canva 发布其首个自研图像生成模型 Canva Craft,由内部实验室 Canva Research 从零训练,主要基于数百万设计模板而非照片。该模型先生成构图、比例和文字,再输出最高 2K 分辨率、30 多种宽高比的图像,支持 55 种语言文字渲染,并可通过 Magic Layers 拆分为可编辑图层。Canva 称其在 DesignArena 排名

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论模型发布

Kimi K3.1 泄露:3D 成本仅 GPT-6 Astra 的 1/14

Kimi K3.1 通过官方先导片彩蛋、API 配置文件和 Kimi Code 模型列表等渠道提前泄露,AI 博主实测显示其在 Three.js 3D 渲染、前端代码与交互场景表现突出,生成同等复杂度 3D 代码的 Token 消耗和成本远低于海外顶级模型,成本约为 GPT-6 Astra 的 1/14。SGLang 代码库合并请求还泄露其新增“Medium

正文结构化主题已通过公开置信门槛
量子位商业

声网CEO赵斌提出五级对话能力框架,实时互动迈向对话AGI

10月23日,声网在北京举办iRTE2026实时智能大会,创始人兼CEO赵斌发表演讲,提出将对话能力分为L1至L5的「五级对话能力」框架,从基础应答延伸至深度关系沟通,并强调实时互动基础设施是支撑对话AGI的关键。大会还设置两场圆桌,分别讨论个人智能体能否成为下一代入口,以及对话式AI在具身智能、AI眼镜、企业营销与招聘等场景的落地。整体呈现对话式AI竞争从

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论产品发布

奇瑞发布自研大模型CheryMind与紫微芯片,称自己是AI公司

在2026奇瑞全球创新大会上,董事长尹同跃称奇瑞是「披着汽车企业马甲」的高科技创新企业,并发布自研垂类基础大模型CheryMind及紫微系列芯片。CheryMind基于奇瑞近30年积累的700TB企业知识、200PB工程数据训练,已在1500+端到端业务流程落地,仿真优化效率提升42倍。奇瑞还展示猎鹰智驾、灵犀座舱、原生Robotaxi及机器人等「一个底座×

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

重建不足够:基于学习多模态表征的双稳健反事实与干预中介分析

该论文研究多模态健康记录的学习表征用于因果中介分析时的充分性问题。作者证明,仅依赖协变量的训练目标(重建、对比或物理约束)无法保证表征足以识别因果效应,且表征可损失极小重建精度却引入任意大偏差。他们提出结合模态特定VAE、交叉拟合双稳健估计器及表征不足诊断的工作流程,模拟中预测性诊断在100%重复中标记出丢弃罕见混杂因子的表征问题。

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

R4DGS:4D高斯泼溅中的指代分割

该论文提出 Referring 4D Gaussian Splatting(R4DGS)任务,要求在动态 4D 场景中根据自然语言指代表达输出随时间变化、集合级的分割掩码。作者构建了 R4D-Bench-QA 基准,覆盖 4D 变化查询、多目标或推理查询、零目标或干扰查询三类挑战。同时提出免训练框架 ReferGaussian,用 MLLM 将复杂查询分解为

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

FlexVDR:为视觉文档检索学习分配套娃表示预算

论文提出 FlexVDR 框架,在单一检索器内为每个查询自适应分配表示预算。它构建了联合覆盖编码器深度、嵌入宽度和 token 数量的路由族,并用 Budget Allocator 根据早期查询特征预测各路由的检索效用,再结合可配置的资源偏好选择路由。在 ViDoRe V1/V2/V3 上跨五个骨干模型的实验显示,该方法在多数情况下保留原生检索质量,同时可为

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

Foundation4D:面向自动驾驶的统一感知与重建模型

研究团队提出 Foundation4D,一个统一的前馈模型,可从多摄像头行车视频中同时完成几何估计、3D 检测、语义占用预测和高斯重建,共享骨干网络采用因子化时空注意力以高效融合跨摄像头与跨时间信息。团队还构建了数据标注流程并发布 PAI–Foundation4D 基准,包含 1,253 段驾驶片段及稠密深度与语义占用标签。经基准微调后,该模型在 Waymo

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

让 MLLM 潜在表示发挥作用:面向电影级视频生成的因子感知预测学习

该论文提出 Factor-Aware Predictive Learning(FAPL),旨在让视频扩散 Transformer(DiT)有效利用多模态大语言模型(MLLM)的潜在表示,以支持稀疏时间输入下的电影级视频生成与角色、场景、动作、镜头等因素感知控制。方法分三阶段:冻结 MLLM 训练 DiT 的潜在表示接地、通过配对视频与因子跨度替换实现因子感知