返回主题地图

多模态

技术方向 · 文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品 · 共 1350 条

只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。

9月3日周四 · 9 条
正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

MemeCULT-1K：评估多模态模型的南亚文化语境与幽默理解

研究人员推出MemeCULT-1K基准，包含1000个南亚多语言梗图（孟加拉语、英语、印地语），并附带文化背景注释和人工解释。评估13个视觉语言模型发现，提供文化上下文能显著提升解释质量，平均SBERT相似度从44.6升至56.4。错误分析显示闭源模型主要失败于实体和指代识别，开源模型受限于文化知识缺口，语言和音韵错误最难通过上下文修正。数据集和代码已公开。

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

Cue2Narrate：重新思考电影音频描述生成

该研究提出Cue2Narrate，一种两阶段音频描述生成管道，用于长电影片段，同时预测视觉线索窗口和语音叙述窗口。作者引入LongLSMDC基准，包含长达8分钟的电影片段，并证明Cue2Narrate在定位和生成性能上优于基线。

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

FairLens：评估视觉语言模型在高风险决策中的公平性

arXiv 论文提出 FairLens，一个用于评估视觉语言模型在高风险决策（招聘、法律、医疗）中公平性和有效性的基准框架。该框架结合真实人脸图像与封闭/开放问题，从四个视角评估八个 VLM，发现主要失败模式是无根据推断而非不平等对待，且法律和医疗领域问题最严重。研究强调仅靠差异指标不足，需结合合理性评估，并指出自由文本偏见与多项选择准确性关联松散。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10775 发布：修复 idefics3 预处理

llama.cpp 发布 b10775 版本，主要修复了 idefics3 预处理问题（PR #28273）。该版本提供了适用于 macOS、Linux、Windows、Android 等平台的多种预编译二进制文件，支持 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等后端。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10773 发布：服务器支持视频音频 data URL

llama.cpp 发布 b10773 版本，主要更新是服务器端支持 input video 和 input audio 的 data: URL，与 image url 保持一致，并允许视频/音频 MIME 类型。同时简化了 handle media 函数，移除了未使用的 accept base64 uri 标志，并增加了对无效 data URI MIME

正文结构化主题已通过公开置信门槛
Gemini API Release Notes一手来源模型发布

Google 发布 Lyria 3.5 音乐生成模型正式版

Google 在 Gemini API 中正式发布下一代音乐生成模型 Lyria 3.5（lyria-3.5），进入 GA 阶段。该模型支持生成长度完整的歌曲，在音乐连贯性、自然人声以及时长与结构控制方面有所提升，并支持文本和图像输入，输出 44.1 kHz 高保真立体声音频。

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源产品发布

AWS 在澳大利亚推出 Bedrock 上的 OpenAI GPT-5.6 跨区域推理

AWS 宣布澳大利亚的悉尼和墨尔本区域现可通过 Amazon Bedrock 的全球跨区域推理访问 OpenAI GPT-5.6 系列模型（Sol、Terra、Luna）。这些模型支持文本和图像输入、100 万 token 上下文，并可通过 Responses API、Chat Completions API 和 Converse API 调用。文章还介绍了

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10766 发布：修复 DeepSeek4 视觉输入支持

llama.cpp 发布 b10766 版本，主要修复了 deepseek4 模型的视觉输入支持问题。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10762 发布，支持 DeepSeek-V4-Flash-Vision-Exp

llama.cpp 发布 b10762 版本，主要更新是支持 DeepSeek-V4-Flash-Vision-Exp 模型，包括处理最小/最大 token 数、使用 GGML ROPE TYPE VISION 等。该版本提供了多平台预编译二进制文件，涵盖 macOS、Linux、Windows、Android 等。

9月2日周三 · 11 条
正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10760 发布：修复 Qwen3-TTS 精度问题

llama.cpp 发布 b10760 版本，主要修复了 Qwen3-TTS-0.6B 模型在 mtmd 架构下的两个问题：一是将代码预测器的 proj in 权重设为可选加载，二是将 ffn down 层保持为 F32 精度，避免因 F16 溢出导致 NaN。该版本提供了多平台二进制文件，包括 macOS、Linux、Windows、Android 等。

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

字节 Seed 大调整：数据与 RL 集中，产品按任务拆分

字节跳动旗下 Seed 基础模型团队进行重大组织调整，新设 Pretrain Data、Horizon RL、Product Posttrain-Work 和 Product Posttrain-Chat 四个一级部门，分别由李成刚、唐晟宇、秦禹嘉、朱文佳负责，均向吴永辉汇报。此次调整旨在合并相似工作、减少重叠，将分散的数据和强化学习能力集中，并按用户任务（

正文结构化主题已通过公开置信门槛
量子位产品发布

天工工作台新版上线：一站式AI短剧创作全流程工具

SkyProduction（天工工作台）于8月31日上线新版本，提供从剧本到成片的AI短剧创作全流程工具，包括剧本翻译、评分、小说转剧本、导演Agent、无限画布协作、片段重拍等功能，并支持多人团队协作和成本管理。该平台旨在降低AI短剧制作成本，提高创作效率，使创作者能持续生产完整作品。

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

双边状态空间模型用于非随机多模态评论反馈的序列推荐

本文提出了一种用于序列推荐的双边状态空间模型（TS-SSM），该模型同时建模用户和物品的动态状态，并利用多模态评论的缺失模式、局部图传播以及正负反馈的不对称结转效应来提升推荐性能。在六个亚马逊类别和Goodreads Fantasy数据集上的实验表明，TS-SSM在Recall@20指标上显著优于现有方法。

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

REACH：通过LLM增强的音频-文本对齐实现零样本呼吸音分类

REACH框架通过LLM增强的音频-文本对齐，将自监督呼吸编码器转化为零样本能力的基础模型，在6个数据集的9项任务中平均零样本AUC达61.3%，超越CLAP和Qwen2-Audio，同时线性探测AUC达71.6%，仅使用全规模基线43%的数据。

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

分布式隐性危害：多模态大模型视频审核的组合安全盲点

该研究提出“分布式隐性危害”（DIH）概念，指多模态大模型在视频审核中无法识别由看似无害的片段组合而成的有害内容。作者构建了包含9000多个视频的DIH数据集和基准，测试30多个MLLM后发现即使最强模型检测率也低于45%，真实视频中同样失败。通过两阶段后训练，检测准确率提升超60个百分点，表明该缺陷可通过针对性训练缓解。

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

RAPIDMap：基于多智能体的快速可解释灾害制图管道

RAPIDMap 是一个由 Texas A&M University 提出的多智能体管道，用于从卫星和街景图像中快速生成可解释的灾害地图。该系统通过四个智能体（DPA、IRA、DRA、DMA）实现零样本灾害识别、图像恢复、损伤识别和空间映射，无需人工标注或微调。研究在多种灾害场景中验证了其泛化能力，旨在提升灾害响应的速度和准确性。

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论研究

OPPO联合OpenKG推出端侧AI记忆评测基准MobileMem

OPPO联合OpenKG社区及浙江大学、同济大学、东南大学等高校推出行业首个端侧AI记忆评测基准MobileMem，旨在为端侧AI记忆能力提供统一评测标准。该基准覆盖长期事件建模、跨模态推理和持续个性化适应等维度，数据集规模达百万词元，并已发布技术白皮书，后续将开源相关工具。此举有助于推动端侧AI记忆技术的标准化和生态发展。

正文结构化主题已通过公开置信门槛
量子位模型发布

李飞飞发布全球首个多模态世界模型Atlas

李飞飞创立的World Labs发布了全球首个多模态世界模型Atlas，该模型能够基于单张图片生成具有像素级相机控制的视频，并完成3D重建和时空模拟。Atlas采用多模态自回归扩散Transformer架构，支持机器人Real-to-Sim工作流，为具身智能训练提供新途径。目前Atlas已向部分合作伙伴开放早期访问。

正文结构化主题已通过公开置信门槛
Google AI一手来源产品发布

谷歌2026年8月AI新闻汇总：Gemini 3.7 Flash、Pixel 11等发布

谷歌在2026年8月发布了一系列AI更新，包括推出Gemini 3.7 Flash模型、Pixel 11系列手机、Gemini 3.5 Transcribe语音转文字模型、Gemini Omni 1.1 Flash视频生成模型，以及Gemini应用月活用户突破10亿。这些发布旨在提升AI的实用性、降低成本，并扩展在编码、教育、视频生成和气候预测等领域的应用。

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

UNSEEN Gemma-4-26B NSFW 量化版发布

Jommarn 发布了基于 Google Gemma-4-26B-A4B-it 模型进行无审查化（abliteration）微调的 UNSEEN Gemma-4-26B NSFW 模型，并提供 2-bit 至 16-bit 的量化版本及 GGUF 格式，支持消费级 GPU 和 Apple Silicon 部署。该模型具备视觉能力，需配合视觉投影器使用，官方展