返回主题地图

多模态

技术方向 · 文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品 · 共 1342 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月28日周三 · 1 条
正文结构化主题已通过公开置信门槛
The Verge AI模型发布

Google 发布 Genie 4 世界模型,生成更逼真交互体验

Google 发布 Genie 4 世界模型,可生成更逼真的交互式体验,支持自然语言实时更新、生成音频,底层使用 Gemini 3.8 Flash,体验时长从 Genie 3 的一分钟提升至约两分钟。该模型面向电影预可视化、游戏原型和机器人训练场景,但 Google 提示模拟时间变长后细节和物体恒存性可能漂移。Genie 4 先以研究预览形式向受信任测试者开

10月27日周二 · 18 条
正文结构化主题已通过公开置信门槛
NVIDIA Generative AI Blog一手来源研究

C-BRAIN携手NVIDIA用AI加速阿尔茨海默病研究

C-BRAIN联盟与NVIDIA合作,利用AI技术加速阿尔茨海默病研究,通过整合此前无法访问的"暗数据"(包括未发表发现、阴性结果和受治理的专有数据)来突破数据孤岛和分析瓶颈。该联盟采用混合集中与联邦学习架构,在保护患者隐私的前提下让AI模型从各机构数据中学习,并已开发出OpenScientist和InsightEngine两个开源智能体工具,将原本需数周至

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11928 新增 MiniCPM-OCR-Jev 支持

llama.cpp 发布 b11928 版本,新增对 MiniCPM-OCR-Jev 模型的支持。该模型以 Qwen3.5-VL 为骨干,通过末位 token 的 value head 对 OCR 文本与渲染图像进行打分,而非生成文本,新增 openbmb-minicpm-ocr-jev 决策类型并由 POST /v1/systemone 提供服务。由于 c

正文结构化主题已通过公开置信门槛
量子位产品发布

禾赛Kosmo获皮克斯采用,进军物理AI数据终端

禾赛科技推出的3D场景扫描方案Kosmo被皮克斯官方3D渲染教程采用,用于捕捉真实世界空间并生成3D高斯泼溅数据。Kosmo由采集端Kosmo One和云端重建端Kosmo World组成,集成激光雷达、8K影像、CMOS和IMU,实现微秒级时空对齐的前融合,可输出3DGS、mesh、depth三种数据形态。禾赛借此从车载激光雷达供应商向物理AI数据基础设施

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论产品发布

千问办公接入乐奇AI眼镜,语音一句话发起任务

10月27日,乐奇Rokid与千问办公在乐奇AI眼镜新品发布会上宣布合作,千问办公正式接入乐奇AI眼镜。用户可在“Rokid AI”App智能体商店添加并绑定账号后,通过语音唤起千问办公下发任务,并在眼镜端查看结果,还可结合眼镜拍摄画面提问。合作中乐奇提供硬件、系统适配与交互入口,千问办公提供Agent运行能力,为千问办公增加随身语音入口,并支持发起钉钉办公

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

蚂蚁灵波具身大模型挑战赛初赛收官:1855支队伍创纪录

蚂蚁灵波科技主办的首届具身大模型挑战赛线上初赛结束,共吸引来自13个国家的1855支队伍、3252名选手报名,覆盖648所高校、科研院所及科技企业,创下行业最大规模。大赛以开源模型LingBot-VLA2.0为技术底座,聚焦模型训练调优、仿真泛化测评与真实机器人适配。线下总决赛将于11月14至16日在上海张江以48小时真机黑客松形式举行,15支队伍参与角逐。

正文结构化主题已通过公开置信门槛
量子位开源

百度开源文心Unlimited OCR 2:KV缓存降96%,支持无限页数

百度正式发布并开源文心Unlimited OCR 2,通过稀疏参考滑动窗口注意力机制(SR-SWA)和无限解码机制,将百页级文档单序列推理的峰值KV缓存从47GB降至1.77GB,减少约96%,16路并发吞吐量提升至3.65倍。模型可连续解析3600+页文档,在MarathonDocBench上取得77.06综合得分,单步解码速度达全注意力的7倍。该模型已在

正文结构化主题已通过公开置信门槛
量子位模型发布

OpenAI 发布 GPT-6.1 Terra:价格减半,电脑操作能力接近旗舰

OpenAI 发布 GPT-6.1 Terra 模型,标准 API 价格相比 GPT-5.6 Terra 减半(输入 1 美元/百万 Token、输出 5 美元/百万 Token),在 Agents' Last Exam、OSWorld 2.1、Terminal-Bench 4.0 等基准上表现提升,主打低成本电脑操作能力,Plus、Pro、Enterpri

另有 3 家信源报道

正文结构化主题已通过公开置信门槛
量子位开源

国产AI 3D大模型Hi3D开源V1.0,推出可商用V3.0

国产AI 3D模型团队Hi3D发布并开源了Hi3D V1.0模型代码,该模型基于NeurIPS 2025公开的Sparc3D架构,使用约200万个筛选3D资产训练,支持高分辨率几何细化。同时推出面向创作者的Hi3D Agent,并宣称最新Hi3D V3.0是业界首个可商用2048³超高精度国产自研AI 3D模型。团队通过对比展示其在3D生成细节上优于GPT-

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

H2O.ai 发布 H2O-Lightning-4B 决策模型

H2O.ai 发布 H2O-Lightning-4B,一个基于 Qwen3.5-4B 的 40 亿参数决策模型,可对文档、工单、政策、对话及配套图片进行带类型的决策问答,并为每个选项返回概率。模型支持选择、是/否、评分三类决策,推荐使用其定制 vLLM 构建进行双向读取,在 JevBench 231 个公开条目上答对 206 个(89.2%),在 Decis

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

OrcaRouter 发布 GLM-5.3-Flash 的 MLX 量化版本

OrcaRouter 在 Hugging Face 发布了 GLM-5.3-Flash-MLX,这是智谱 zai-org/GLM-5.3-Flash 的 MLX 量化版本,面向 Apple Silicon 与 MLX CUDA 后端。原模型为 320B 总参数、18B 激活的 MoE,是 GLM-5 系列首个原生多模态模型,采用 glm5 next 混合架构

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论开源

百度开源文心 Unlimited OCR 2,实现任意页数文档解析

百度发布并开源文心 Unlimited OCR 2,宣称全球首次实现任意页数文档解析,将 OCR 处理上限从数十页推向无限,并在 MPDocBench 和 MarathonDocBench 上达到端到端 SOTA。该模型采用稀疏参考滑动窗口注意力机制(SR-SWA),在百页文档场景中单步解码速度相比 Full Attention 和上一代 R-SWA 分别提

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

Saga:多模态患者世界模型的 in silico 本体

Isoplex Intelligence 联合北京大学、北京协和医学院提出 Saga,一种面向多模态患者世界模型的“in silico”本体,从患者病史学习共享状态,用于预测临床事件并生成多模态图像。研究覆盖 112 家中心、461,370 名患者、12 种癌症;去除患者条件后事件 F1 从 0.716 降至 0.591,病灶负荷误差从 11.8% 升至 2

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

直觉与证据:多模态智能体的自适应双记忆框架

该论文提出一种面向多模态智能体的双记忆框架,将模型原生的潜在记忆作为直觉先验,与多索引情景记忆结合,通过检索条件联合对齐实现精确证据重建。推理时框架借助基于Jensen-Shannon散度敏感度和置信度代理的无训练路由机制,按查询自适应组合两类记忆。多模态基准评测显示其整体优于单范式基线(较原始情景记忆提升4.67%),并揭示情景记忆擅长证据定位任务、潜在记

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

面向历史文档转录的实体感知 OCR 评测

乌拉圭共和国大学、巴黎萨克雷大学和岭南大学的研究者提出了一种面向历史文档转录的实体感知 OCR 评测方法,在 Berrutti 档案的 175 份文档基准上人工标注了 5,209 个实体提及,并比较了传统 OCR 引擎、专用 OCR 视觉语言模型和通用视觉语言模型。实验显示,OCR 系统排名会随评测标准变化:Qwen 3.6 在所有测试容差下实体覆盖率最高,

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源模型发布

Nemotron 3.5 Bolt 74B-A9B 24GB:面向本地 AI 的混合视觉语言模型

NVIDIA 在 arXiv 发布 Nemotron 3.5 Bolt 74B-A9B 24GB,一个基于 Nemotron 3.5 Super VL 120B-A12B 压缩而来的混合 Mamba-Transformer 视觉语言模型。该模型通过 Star Elastic 架构搜索、2-bit 量化感知蒸馏和 LiLiCorr 投机解码,将 BF16 模型

正文结构化主题已通过公开置信门槛
Ollama Releases一手来源开源

Ollama 发布 v0.40.12:优化 MLX 视觉与提示速度

Ollama 发布 v0.40.12 版本,主要更新集中在 MLX 后端:保留紧凑型 Gemma 4 视觉塔的小图像细节、升级 MLX/MLX-C 版本以提升 gemma/flint/laguna 的提示处理速度、新增 DFlash2 支持,同时将 llama.cpp 升级至 b11901。这些改动属于推理框架的兼容性与性能优化。

正文结构化主题已通过公开置信门槛
Simon Willison's Weblog模型发布

OpenAI 发布 GPT-6.1 Terra 中端模型

OpenAI 发布 GPT-6.1 Terra,定位为快速高效的中端模型,重点强调视觉推理与精确的计算机操作能力,同时写作更清晰自然。OpenAI 的 Ted Sanders 表示,Terra 在技术沟通上优于 Astra 和 Sol,视觉与计算机使用能力相近但速度更快,其他方面略弱。其定价为每百万输入 token 1 美元、每百万输出 token 5 美元

另有 3 家信源报道

正文结构化主题已通过公开置信门槛
Transformers Releases一手来源开源

Transformers v5.21.0 发布:新增多款模型支持

Hugging Face Transformers 发布 v5.21.0,新增 MiniCPM-OCR、Flint、UltraVBert、Gradium Phonon TTS、Pocket TTS 及其音频分词器等多个模型支持。其中 MiniCPM-OCR 面向文档理解,Flint 为 Recursive 的混合注意力 MoE 语言模型,Pocket TTS

10月26日周一 · 1 条
正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11899:mtmd 新增能力查询接口

llama.cpp 发布 b11899 版本,核心变更是为 mtmd(多模态)模块新增 mtmd helper get capabilities 接口,用于查询多模态能力,并补充 audio stream、audio gen spk ref、text gen 等能力标记,同时保留旧 API 以维持兼容。该版本同步提供 macOS/iOS、Linux、Andr