MoR-MLLM:面向高效多模态大模型的递归混合框架
该论文提出 MoR-MLLM,一种基于 Mixture-of-Recursions(MoR)框架的计算稀疏多模态大语言模型。它通过自适应逐 token 递归,动态调整递归深度,将更多计算分配给视觉或语言上困难的 token,并跳过简单 token 的冗余操作。为稳定多模态场景下的递归稀疏训练,作者设计了三阶段 MoR-Tuning 策略和熵正则化损失。实验表
技术方向 · 文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品 · 共 1342 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
该论文提出 MoR-MLLM,一种基于 Mixture-of-Recursions(MoR)框架的计算稀疏多模态大语言模型。它通过自适应逐 token 递归,动态调整递归深度,将更多计算分配给视觉或语言上困难的 token,并跳过简单 token 的冗余操作。为稳定多模态场景下的递归稀疏训练,作者设计了三阶段 MoR-Tuning 策略和熵正则化损失。实验表
中国科学院香港创新研究院人工智能与机器人创新中心(CAIR)在香港举办第四届CREATE Symposium,发布多模态临床智能体系统CARES 4.0。该系统基于Harness智能体框架,搭载自研CT、核磁、超声、内镜、脑电多模态医疗基座,已在多家三甲医院落地,覆盖诊疗、科室管理、医学科研全链条。CAIR主任刘宏斌在对话中表示,CARES 4.0从3.0的
llama.cpp 发布 b11483 版本,新增对 LiquidAI/d1-3B 决策模型的支持,并将决策类型 d1 重命名为 lfm2-d1。同时 mtmd 模块改为从 GGUF 文件读取 LFM2 图像缩放算法。该版本提供覆盖 macOS、Linux、Windows、Android 等多平台多后端的预编译二进制包。
llama.cpp 发布 b11481 版本,主要变更为 mtmd 模块新增对 Cohere2 视觉模型的支持(PR #30062),并包含针对该实现的代码调整与 linear 1 融合优化。该版本同时提供 macOS、Linux、Windows、Android 等多平台、多后端(CUDA、Vulkan、ROCm、SYCL、OpenVINO 等)的预编译二进
OpenAI宣布GPT-6开始向ChatGPT免费和Go用户推送,用GPT-6 Luna替换此前的GPT-5.6 Luna,付费用户则使用GPT-6 Sol。新版ChatGPT引入Intelligent UI,可根据问题生成图表、按钮和交互工具,并支持边思考边呈现答案。同日OpenAI发布24页安全报告,显示GPT-6在网络安全、生物化学领域达到High门槛
Vercel AI SDK 发布 ai@7.0.133 补丁版本,为实验性决策状态新增有序文本、文件和 JSON 部分,并支持在 OpenAI Decisions 与语言模型适配器中输入图像。网关和 TypeSafe AI 保留原有字符串与 JSON 请求格式并拒绝文件。该版本还更新了 @ai-sdk/provider、provider-utils 和 ga
OpenAI 在 ChatGPT 中推出名为 Intelligent UI 的新功能,让聊天机器人以图表、表单、可点击按钮等交互式视觉元素配合文字作答。该更新与 GPT-6 一同面向所有用户推送,OpenAI 称 GPT-6 经过训练可判断何时生成交互式视觉内容及其排版方式。GPT-6 还带来更强的网页搜索能力、更快的部分答案,以及对绕过安全训练尝试的更强抵
另有 1 家信源报道
OpenAI 面向所有 ChatGPT 用户推出 GPT-6,并带来名为“Intelligent UI”的新功能,使回答以图表、按钮、表单等交互界面呈现,而非纯文本,格式会根据问题自动适配,用户还能在聊天中构建储蓄计算器、游戏等小工具。GPT-6 还支持在“思考”过程中同步作答,OpenAI 称这可将等待时间缩短 44%,并在内部测试中于高难度网络搜索任务上
OpenAI 推出名为 Intelligent UI 的新界面,并随新模型 GPT-6 一起上线,让 ChatGPT 的对话中融入大量可视化内容。这些视觉元素可交互,包括可点击按钮、定制计算器、交互式图表和可编辑图形,目标是让学习复杂主题更容易。该功能面向 Pro、Plus、Business 和 Enterprise 用户全球推出,免费及低价 Go 用户次日
另有 2 家信源报道
Google 宣布其 SynthID 水印检测器向公众开放,任何人都可以检查图片、视频或音频是否由 Google 或其合作伙伴的 AI 生成。该工具可识别 Gemini、Veo、Lyria 等模型嵌入的隐形水印,支持 JPG、PNG、MP4 和 MP3 格式。Google 表示,SynthID 检测已集成到 Google 搜索、Gemini 应用和 Chro
OpenAI 宣布对其 API 平台进行两项更新。新的 Decisions API 可评估文本、图像或两者,运行速度约为 Responses API 的十倍,目前处于公开测试阶段,仅支持 gpt-6-luna 模型,输入 token 每百万收费 0.10 美元,输出 token 免费。该 API 支持三种响应类型:是/否概率、从预定义类别中选择、以及基于量表
Google 推出基于浏览器的 AI 游戏创作平台 Playground,美国成年用户无需编程即可通过文本输入创建游戏,并实时调整规则、物理、角色和环境。该平台由 Gemini、Nano Banana 和 Lyria 模型驱动,成品可通过链接分享或发布到公共画廊,部分类型支持排行榜和多人模式。Playground 免费,Google One 订阅者享有更高周
Google Labs 推出 AI 游戏创作平台 Playground,用户可通过文本提示生成浏览器游戏,无需编程经验。平台支持选择游戏类型、2D/3D、单人与多人模式,并可上传素材由 AI 转化为游戏资产。该平台目前面向美国 18 岁以上用户开放,免费层使用每周 token 系统,Google One AI 订阅者享有更高额度。此举使 Google 进入
另有 1 家信源报道
Google 推出新的 SynthID 网站,让任何人都能验证图片、视频或音频是否由 AI 生成。该工具此前仅向部分记者、媒体专业人士和研究人员开放测试,现已向公众开放。SynthID 自 2023 年推出,被 Google 的 Nano Banana、Veo、Lyria 模型以及 Gemini、Flow、ProducerAI、Vids 等工具用于水印生成内
另有 1 家信源报道
a16z 发布第七版《百强AI消费者应用》报告,首次新增基于 YipitData 美国银行卡消费数据的收入榜单。AI 3D 多模态模型公司 Meshy 位列第 31 名,是榜单上唯一的 AI 3D 公司,与 OpenAI、Anthropic、Canva 等共同上榜。Meshy 近期 ARR 突破 1 亿美元,并于 2026 年 7 月完成近 4 亿美元 B
a16z 发布首份消费级 AI 应用月收入 Top 50 榜单,AI 3D 公司 Meshy 位列第 31 名,是榜单上唯一的 AI 3D 公司,与 OpenAI、Anthropic、Canva 等共同上榜。a16z 指出头部创意类产品多建立在自研模型之上,消费者仍愿为专业化创意工具付费。Meshy 近期 ARR 突破 1 亿美元,并于 2026 年 7 月
另有 1 家信源报道
该研究揭示了一个此前未被注意的安全盲点:具备工具调用能力的多模态大模型(agentic MLLMs)在调用缩放、OCR 等外部工具时,拒绝有害请求的能力显著下降。作者在 MM-SafetyBench、HoliSafe、VLSBench 三个安全基准上测试了多个开源与闭源模型,发现工具使用场景下的相对拒绝失败率最高上升 68.7%。基于超过 10 万条回答的分
该研究将医学图像对齐评估作为检验前沿多模态大模型通用视觉推理能力的测试任务,评估了多代MLLM在两种医学图像对齐任务上的表现,并对比了本地微调小模型和任务专用CNN。结果显示,仅几个月前发布的模型泛化能力差、部分场景接近随机水平,而GPT-6在几乎所有测试场景(包括零样本)中准确率超过85%。微调本地模型在训练任务上可匹敌或超越前沿模型,但迁移到未见场景时效
该论文提出「视觉编排税」概念,指出在智能体式 VLM 流水线中,同一静态图像证据会被多个专家智能体反复重建为图像条件请求,造成编排层冗余。作者开发了从测量到认证的框架:审计侧用指标统计视觉证据触碰次数与结构冗余,在 SeeingEye 和 MAMMQA 等任务上发现 66.8%–75.6% 的触碰冗余;认证侧提出 SharedVisCache,按图像内容、预
研究者提出 ALIVE 框架,用于首帧引导的视频编辑,使插入的物体能与原视频内容产生连贯交互(如被拿起或操作)。他们构建了 35,800 对编辑数据,结合 3D 渲染、模型生成和真实视频,并训练 VLM 从相同输入预测交互引导。在 ALIVE-interaction 基准和通用视频物体插入基准上,ALIVE 的 Overall 指标分别比最强基线提升 43.