返回主题地图

多模态

技术方向 · 文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品 · 共 1350 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

9月8日周二 · 6 条
正文结构化主题已通过公开置信门槛
The Verge AI产品发布

Adobe 在 Premiere 中推出简化 AI 生成工具,支持多模型

Adobe 正在对其专业视频编辑软件 Premiere 进行重大更新,推出新的 Generative Media 工具,使编辑人员无需离开项目时间线即可生成视频、音效、音乐和音景。该工具支持在时间线内直接选择多种底层模型,包括 Adobe Firefly、Google Veo、Runway、Luma 和 Kling。此外,Premiere 还新增了 AI 音

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

GLM-5.3-Flash MLX 4-bit 量化版发布,支持 Apple Silicon 与原生 MTP

Vontra 发布了基于 zai-org/GLM-5.3-Flash 的 MLX 4-bit 量化版本,支持 Apple Silicon,并保留了原生 MTP(多 token 预测)层。该模型采用 4-bit 仿射量化,组大小为 64,总下载大小约 181.7 GB,支持 1M 上下文,架构为 glm5 next 多模态稀疏 MoE。在 Apple M3 U

正文结构化主题已通过公开置信门槛
量子位产品发布

GPT-6 Astra 3D玩法火爆致额度耗尽,OpenAI宣布全面重置

OpenAI的GPT-6 Astra因用户大量用于3D建模而额度耗尽,OpenAI高管Tibo宣布为所有付费订阅用户重置额度。用户展示了多种3D应用,包括从照片建模、生成城市模型、制作3D游戏和教育可视化,效果惊艳。此举被视为推动AI在3D创作领域应用的重要事件。

正文结构化主题已通过公开置信门槛
PydanticAI Releases一手来源产品发布

PydanticAI v2.41.0 发布:新增图像生成 API 与 OpenAI Codex 支持

PydanticAI 发布 v2.41.0 版本,新增了 openai-codex 提供商以支持 ChatGPT/Codex 订阅认证,并引入了直接的图像生成 API(ImageGenerator)。同时,弃用了 ImageGeneration 和 XSearch 上的 fallback model,改为 fallback subagent model。此外

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

neureps 发布 0.8B 端侧多模态 GGUF 模型

neureps 发布了 warmly-qwen35-08b-enko-gguf,这是一个基于 Qwen3.5-0.8B-enko 的 0.8B 端侧模型,采用剪枝和蒸馏技术,并以 GGUF 格式提供。该模型用于 Warmly 应用的小型设备部署,支持图像字幕和文本评论,总大小约 542MB。v3.1 版本包含蒸馏权重和 LoRA 人物适配器,通过 llama

正文结构化主题已通过公开置信门槛
智东西产品发布

vivo X500系列剧透影像大招,欲截胡苹果新旗舰

vivo在创作者盛典上宣布新一代旗舰X500系列将于9月21日发布,并提前剧透影像升级,包括首发蓝图光御900传感器、4K 240帧慢动作、AI辅助摄影等功能。vivo与蔡司、联发科深度合作,旨在实现“拍照第一、视频唯一”的目标,并可能对苹果新旗舰构成竞争压力。

9月7日周一 · 10 条
正文结构化主题已通过公开置信门槛
THE DECODER模型发布

阿里发布Qwen-Drive 1.0:统一驾驶与座舱AI,但解释与决策存偏差

阿里巴巴研究部门发布了Qwen-Drive 1.0,这是一个将空间感知、交通问答和路线规划整合到单一AI模型中的驾驶系统。该模型基于Qwen3.5-4B,通过添加3D地图和路线规划模块,在模拟中将车辆偏离道路率从24%降至12%,但解释与驾驶决策有时不一致。模型已免费向研究社区开放。

正文结构化主题已通过公开置信门槛
ByteDance Seed Research一手来源模型发布

Seed2.1正式发布:推动AI生产力提升

字节跳动旗下Seed研究团队正式发布Seed2.1模型家族,该系列面向智能体场景,旨在提升真实生产力。Seed2.1在通用智能体能力、端到端编码和多模态基础能力上均有增强,并在多个基准测试中表现优异。目前,豆包和火山引擎用户已可开始使用Doubao Seed 2.1。

正文结构化主题已通过公开置信门槛
量子位模型发布

智象发布具身世界模型HiDream-O1-Embodied,登顶RoboColiseum扰动适应榜

智象未来(HiDream.ai)发布了具身世界模型HiDream-O1-Embodied,该模型在RoboColiseum评测的扰动适应子榜单中以0.692分登顶。模型通过语言理解、多视角视觉感知和高容错机制提升物理交互能力,并采用“真实基座+生成增强”的数据生产范式。此次发布标志着智象完成从图像、视频到3D、动作的全模态技术闭环,构建统一世界模型基座。

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

MedProb:探测医学视觉问答中视觉语言模型的内部表示

MedProb 是一个轻量级线性探测框架,通过冻结视觉语言模型(VLM)的内部表示来预测医学视觉问答(Med-VQA)的多选题答案,无需自由文本生成。在 PATH-VQA、SLAKE 和 VQA-RAD 基准上,MedProb 比提示方法恢复了更多与答案相关的信号,并优于医学微调 VLM 和智能体系统。研究发现,生成式评估可能低估小型模型中的可恢复信号,且医

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

MURAL:基于自适应边学习的多模态不确定性感知推荐

MURAL 是一个针对多模态推荐的统一框架,通过自适应边学习解决现有图神经网络的静态结构和语义脆弱性问题。它采用可微检索增强策略发现潜在物品关联,并利用不确定性感知融合模块动态降低噪声模态权重。实验表明,在 TikTok 和 Amazon 等基准上,MURAL 显著优于现有方法,并具备可解释性和鲁棒性。

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

FailSAE:利用稀疏自编码器实现视觉语言模型的可解释失败预测

Wayne State University的研究人员提出FailSAE框架,利用稀疏自编码器(SAE)对视觉语言模型(如CLIP)进行可解释的失败预测。该框架将失败预测建模为对SAE稀疏潜在激活的分类任务,并引入三阶段失败感知训练流程。实验表明,FailSAE在失败预测上优于现有基线,并揭示了失败时模型表示从类别特定概念转向模糊或风格相关概念。此外,该框架

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

LARK:面向多模态推荐的潜在对齐推理框架

本文提出 LARK(Latent-Aligned Reasoning frameworK),一种用于多模态推荐的两阶段潜在推理框架,旨在解决视觉-语言模型在多步推理中视觉和文本信号逐渐衰减的“跨模态稀释”问题。LARK 在第一阶段将可学习潜在标记与思维链推理交错,并与冻结的视觉编码器对齐;第二阶段通过桥接 MLP 和对比学习生成嵌入,并将中间特征与思维链隐藏

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

SAGE:用于多实体视觉检索的语义属性图

arXiv 论文提出 SAGE 框架,通过将密集文档图像中的语义实体解析为层次化图节点并采用多向量嵌入,缓解了标准视觉语言检索器因单向量编码导致的“语义稀释”问题。作者还构建了 DEAR 基准数据集,包含 1055 对查询-图像对,用于评估多实体视觉检索。实验表明 SAGE 在 DEAR 上显著优于基线,Recall@3 达 0.849,代码已开源。

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

视觉主导与延迟方法:提升VLM个性化安全

该研究提出MPS-Bench基准,包含5181个来自584张真实图像的高风险场景,用于评估视觉语言模型(VLM)的个性化安全。研究发现8个前沿VLM在86-99%的情况下直接回答而非寻求缺失上下文,个性化安全得分均不超过2.6/5。通过因果干预,研究者识别出'视觉主导'机制:视觉信息在早期层进入文本表示并抑制文本风险信号,导致后期内部修复不可靠。为此提出PR

正文结构化主题已通过公开置信门槛
Claude Code Changelog一手来源产品发布

Claude Code 2.1.69 发布:新增 API 技能、多语言语音支持及多项安全修复

Claude Code 发布 2.1.69 版本更新,新增了 /claude-api 技能、语音转文字支持 10 种新语言、远程控制会话命名、插件热加载等多项功能。同时修复了多个安全漏洞,包括嵌套技能发现可能加载 gitignored 目录中的技能、信任对话框静默启用所有 .mcp.json 服务器、符号链接绕过等。此外还改进了沙箱网络隔离设置、Git 指令

9月6日周日 · 3 条
正文结构化主题已通过公开置信门槛
量子位商业

具身ICL创业潮起:可可矩阵押注上下文Scaling新赛道

量子位报道称,具身智能领域正兴起In-Context Learning(ICL)创业热潮,Skild AI和Generalist AI分别发布机器人基础模型S1和GEN-1.5,展示机器人通过观看示范视频即可学习新任务,无需微调。国内创业公司可可矩阵(COCO Matrix)致力于将ICL作为具身智能的底层范式,其创始人高宇翔认为,具身智能的Scaling方

正文结构化主题已通过公开置信门槛
THE DECODER模型发布

谷歌在Gemini应用中推出Lyria 3.5音乐生成模型

谷歌在Gemini应用中直接推出其Lyria 3.5音乐生成模型,并通过API提供。该模型相比前代具有更富表现力的人声和更丰富的音乐编排,用户可在Gemini应用中选择流派和风格,创建带人声或纯音乐的音轨。Lyria 3.5还可在Google Flow Music、Google AI Studio和Google Vids中使用。谷歌声称Lyria模型仅使用授

正文结构化主题已通过公开置信门槛
Simon Willison's Weblog模型发布

OpenAI 发布 GPT-6 Astra 开发者版,3D 建模能力突出

OpenAI 发布了面向开发者的 GPT-6 Astra 模型,该模型在细节关注、用户提示理解和复杂输出生成方面表现更优,尤其在 3D 模型构建上能力突出。Simon Willison 的博客文章对此进行了介绍,并提及 Astra 在创意任务(如给骑自行车的鹈鹕戴红领巾)上的表现。

9月5日周六 · 1 条
正文结构化主题已通过公开置信门槛
Simon Willison's Weblog研究

GPT-6 Astra 图像生成对比:质量与成本优势显著

Simon Willison 在 2026 年 9 月 4 日获得 GPT-6 Astra 的访问权限,并用它生成不同推理级别的自行车鹈鹕 SVG 图像,与 GPT-5.6 Sol、Terra 和 Luna 进行对比。结果显示 Astra 生成的图像质量明显优于其他模型,且成本效率更高,低推理级别下仅需 9.55 美分即可获得比 Sol 任何级别更好的结果。