UniME-R1：基于硬负样本的检索中心思维链统一多模态检索
本文提出UniME-R1框架，用于统一多模态检索。该框架通过嵌入器-顾问架构，基于初始检索结果生成检索中心思维链（RC-CoT），以解决LVLM检索器忽略细粒度判别线索的问题。实验表明，UniME-R1在MMEB-V2等多个基准上优于强基线。
多模态
技术方向 · 文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品 · 共 1352 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
8月7日周五 · 4 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
ChronoVision：通过潜在状态重建实现时间推理
ChronoVision是一个多模态框架，旨在通过潜在状态重建提升多步时间推理能力。它采用重建视觉头和ROI注意力定位模块进行监督微调，并在后训练中应用强化学习。在Vbvr-VQA数据集上达到74.8%域内和71.6%域外准确率，在IntPhys2上达到55.0%。
正文结构化主题已通过公开置信门槛
Optimum Intel v2.1.0 发布，新增多模型支持
Hugging Face 发布了 Optimum Intel v2.1.0，新增了对多个模型架构的导出和推理支持，包括 Google 的 Gemma 3n 和 Gemma 4 Unified、阿里巴巴的 Qwen3-Omni-MoE 和 Qwen3-VL-Embedding、SmolLM3 以及 Black Forest Labs 的 FLUX.2。该版本通
正文结构化主题已通过公开置信门槛
SIGNPOST-Bench：多模态大语言模型文本-视觉冲突解决基准
SIGNPOST-Bench 是一个用于评估多模态大语言模型（MLLMs）在文本与视觉信息冲突时仲裁能力的基准。该基准通过将图像转换为原始、空白、相似、随机和对抗五种变体，构建了 5,111 个反事实组和 25,555 个图像变体，并评估了来自七个提供商的 20 个 MLLM。结果显示，对抗性变体使中位定位误差从 282 公里增加到 1,347 公里，提升了
8月6日周四 · 14 条
正文结构化主题已通过公开置信门槛
MiniMax H3 发布 GGUF 量化版本，支持多模态视频生成
Hugging Face 上发布了 MiniMax H3 模型的 GGUF 量化版本（Abiray/MiniMax-H3-GGUF），该模型是 MiniMax 推出的全模态生成系统，支持文本、图像、视频和音频的统一理解与生成，可生成带原生立体声的 2K 分辨率、最长 15 秒的视频。该仓库提供了多种量化精度的 UNet 模型（FL2VA 和 Ref2VA 模
正文结构化主题已通过公开置信门槛
多模态预训练的物理机制：知识流、模态协同与早期统一
该研究系统探索了多模态预训练的机制，通过合成和真实数据集实验，揭示了知识流、模态协同与竞争、早期统一等关键现象，并提出了高效预训练方案，仅用5%计算预算即可实现强生成性能。研究在13.5B MoE模型和2T tokens上验证了结论，为多模态预训练提供了原则性基础。
正文结构化主题已通过公开置信门槛
ToolArtist：用于智能体图像生成的工具使用统一多模态模型
ToolArtist 提出了一种完全智能体的图像生成模型，通过对统一多模态模型进行后训练，将推理、外部工具调用和原生图像生成整合到单一策略中。在监督微调阶段，教师智能体使用搜索和图像生成工具，并将轨迹转换为统一多模态模型兼容格式；在强化学习阶段，引入 Reason-Act-Draw GRPO 算法，结合意图和质量奖励进行联合优化。实验表明，将整个开放世界图像
正文结构化主题已通过公开置信门槛
蚂蚁集团IJCAI 2026论文：探索AI动态自适应能力
蚂蚁集团在IJCAI 2026上发表了四篇论文，分别涉及时间序列聚类、离线到在线强化学习、贝叶斯优化和多模态视频评估，共同探索AI在动态环境中的自适应能力。这些研究旨在解决真实世界中模型性能衰减的问题，并已在多个基准测试中取得领先结果。
正文结构化主题已通过公开置信门槛
华为IJCAI 2026四篇论文：从规模密度转向设计密度
华为在IJCAI 2026上发表了四篇论文，分别涉及层次化视觉Transformer扩展到30B参数、可学习帧选择器提升视频描述、表征感知模块化框架降低跨任务适配成本，以及语码转换语音翻译的MoE架构。这些研究体现了从规模密度向设计密度的转变，强调通过架构和训练策略优化来提升效率。
正文结构化主题已通过公开置信门槛
Moonshot AI 发布开源 2.8T 参数多模态智能体模型 Kimi K3
Moonshot AI 发布了其最强大的开源权重模型 Kimi K3，这是一个 2.8 万亿参数的原生多模态智能体模型，采用 Kimi Delta Attention 和 Attention Residuals 架构，支持 100 万 token 上下文窗口。该模型激活 1040 亿参数，在 896 个专家中激活 16 个，据称相比 Kimi K2 在扩展效
正文结构化主题已通过公开置信门槛
mmMind：姿态引导的毫米波雷达行为理解模型
arXiv 论文提出 mmMind，一种雷达-语言模型，利用同步 3D 姿态作为训练监督，使基础模型能理解毫米波雷达数据。该模型通过姿态引导预训练学习人体结构和运动，推理时仅需雷达输入，并用于行为描述和时空问答。作者还发布了包含 17.9 小时真实数据的 mmMind-Bench 基准，实验表明 mmMind 在多个任务上优于现有基线。
正文结构化主题已通过公开置信门槛
蒙特卡洛树搜索驱动的表格到多模态报告生成
本文提出MCTS-Report框架，利用蒙特卡洛树搜索将表格到多模态报告生成任务分解为章节规划、图表生成等原子动作，由LLM逐步执行。该框架通过多维奖励函数评估数值一致性、图表质量等，并构建了MMRBench基准。实验表明，MCTS-Report在结构完整性、数值准确性和图表文本对齐等方面显著优于基线，总分为77.9。
正文结构化主题已通过公开置信门槛
动态潜在推理：先感知后推理的视频理解与问答新方法
arXiv 上发布了一项关于视频问答的新研究，提出了动态潜在推理（DyLaR）方法。该方法先通过感知潜在状态定位问题相关的视觉证据，再自适应决定是否在潜在空间中进行推理，从而避免冗长的文本思维链。在九个视频基准和四个多模态语言模型上的实验显示，DyLaR 在提升准确率的同时大幅减少了生成的 token 数量，例如在 Qwen3-VL-4B 上将平均准确率从
正文结构化主题已通过公开置信门槛
C2MOE：基于一致性与互补性的专家混合模型用于不完整多模态情感学习
arXiv 上发表了一篇关于多模态情感识别的新研究，提出了 C2MOE 框架，通过一致性和互补性引导的专家混合模型来处理不完整的多模态输入。该方法在多个基准测试上超越了现有方法，提升了鲁棒性和泛化能力。
正文结构化主题已通过公开置信门槛
OncoTriad-QA：泛癌推理的放射-病理-基因组学基准
arXiv 发布了一项名为 OncoTriad-QA 的基准，用于评估医学大语言模型和视觉语言模型在泛癌推理中的能力，该基准整合了放射学、病理学、基因组学和临床元数据。研究团队还提出了参考模型 OncoVLM，在微调后其性能显著优于 MedGemma-4B，平均提升 10.7 分。该基准包含 86.1k 个问题，覆盖 32 个癌症队列的 9,281 个 TC
正文结构化主题已通过公开置信门槛
llama.cpp b10290 发布：新增 ggml build forward order 修复音频图问题
llama.cpp 发布 b10290 版本，新增 ggml build forward order 函数，用于在计算图中插入节点而不设置计算标志，以解决 mtmd 音频图中 GEN WAV 调用因陈旧输入触发断言的问题。该版本提供了多平台二进制文件，包括 macOS、Linux、Windows、Android 等。
正文结构化主题已通过公开置信门槛
OpenAI 图像生成服务错误率升高已恢复
OpenAI 报告其图像生成服务出现错误率升高的问题，部分用户的图像生成请求失败。团队已确认问题并应用缓解措施，目前所有受影响服务已完全恢复，正在监控恢复情况。
正文结构化主题已通过公开置信门槛
用 Claude Fable 5 一次性构建浣熊抢劫游戏
Simon Willison 在 2026 年 8 月 5 日，使用 Claude Fable 5（在 Claude Code for web 中运行）根据他 2022 年的一条推文内容，一次性构建了一个完整的 3D 浏览器游戏“Raccoon Heist”。他通过 GitHub Pages 实现实时预览，并赋予 Claude 访问 OpenAI 图像生成
8月5日周三 · 2 条
正文结构化主题已通过公开置信门槛
MiniMax-H3 发布，MLX 移植版支持 Apple Silicon 运行
MiniMax 发布了通用全模态生成系统 MiniMax-H3，支持文本、图像、音频和视频输入，可生成最长 15 秒的带音频视频。PipeNetwork 提供了将其移植到 MLX 的 Python 包，使模型能在 Apple Silicon 上运行。作者在 M5 Max MacBook Pro 上成功运行，下载约 115GB 模型文件，生成视频耗时近 45
正文结构化主题已通过公开置信门槛
llama.cpp b10270 发布，支持 Qwen3-TTS
llama.cpp 发布 b10270 版本，主要新增对 Qwen3-TTS 的支持，包括文本模型、编码器、说话人编码器及代码到语音的转换，并重构了 llama-tts 二进制文件。该版本还提供了多种平台和硬件加速的预编译二进制文件。