多模态

StreamArena：面向连续交互与长时程智能体流媒体视频理解的基准与架构

StreamArena是一个用于小时级、交互式流媒体视频理解的基准测试，包含243个平均时长88.8分钟的视频和3646个开放式问答对，评估实时感知、历史回顾、主动交互和多模态工具使用能力。研究发现现有方法在连续交互和长时程多模态理解之间存在矛盾，为此提出StreamMind架构，通过前端工作者处理延迟关键任务、后端工作者构建持久多模态记忆，在四项能力上均优

Om AI联汇开源端侧原生VLX-Seek 1.5，3B模型多项评测超越英伟达

Om AI联汇完成数亿元融资，并开源全球首款端侧原生模型VLX-Seek 1.5。该模型有3B和10B两个版本，采用流式多模态架构，在无人机视角、指代表达理解等任务上超越英伟达LocateAnything等更大模型。公司旨在通过端侧原生路线，推动物理AI在机器人、无人机等场景的规模化落地。

飞桨发布 PaddleOCR-VL：0.9B 超紧凑多语言文档解析模型

百度飞桨发布 PaddleOCR-VL，一个基于 ERNIE-4.5-0.3B-Paddle 的 0.9B 超紧凑视觉语言模型，专注于多语言文档解析，支持 OCR、版面分析、表格、公式和图表识别。该模型以 Apache-2.0 许可证开源，并提供英文、中文和多语言支持，新版本为 PaddleOCR-VL-1.6。

xAI 发布 Imagine Image 2.0，在 Arena 基准测试中紧随 GPT-Image-2

xAI 发布了 Imagine Image 2.0 模型，作为 Grok 平台的新“质量模式”，提供精细指令遵循、排版布局优化和跨生成一致性。该模型在 Arena 基准测试中排名第二，仅次于 OpenAI 的 GPT-Image-2。新模型包含 Magic Wand、区域分割、背景移除、多参考编辑和智能调整大小等编辑工具，并推出模板和视频预制作功能。API

xAI 发布 Imagine Image 2.0，支持精确编辑与多参考生成

xAI 发布了 Imagine Image 2.0，作为 grok.com/imagine 及 iOS/Android 应用上的新质量模式，提供精确的图像生成和编辑功能。该模型在文本到图像生成和图像编辑方面排名世界第二，并引入了魔法棒、区域分割、背景移除和多参考编辑等工具。此外，xAI 还推出了针对常见工作流的模板，API 访问即将推出。

SGLang v0.5.17 发布：支持 Kimi K3 与 MiniMax-H3，多项性能优化

SGLang 发布 v0.5.17 版本，包含 582 个 PR，来自 194 位贡献者。主要亮点包括对 Kimi K3 和 MiniMax-H3 的 day-0 支持，以及新的 DCP 通信后端、DWDP 预填充策略、会话感知的 Radix Cache 等性能优化。此外，还新增了多个模型支持，并提升了引擎恢复速度和降低了主机开销。

KVAE：多模态生成模型的新一代 Tokenizer 系列

Kandinsky Lab 发布了 KVAE 系列 tokenizer，涵盖音频、图像和视频，专为文本条件下的潜在扩散模型生成设计。KVAE-Audio 支持 48 kHz 全频带，KVAE-3D 提供两种视频压缩方案，KVAE-2D 实现 8 倍图像压缩。实验表明，KVAE 在重建和生成指标上达到或超越 Wan-2.2、HunyuanVideo-1.5、F

llama.cpp 支持多种小型 OCR 模型，可在低端设备运行

llama.cpp 现已支持多种小型 OCR 模型，可在低端设备（如 4GB VRAM 的 GPU 或 CPU）上运行。文章介绍了如何使用 llama-cli 和 llama-server 运行这些模型，并通过 REST API 集成到应用中。支持的模型包括 GLM-OCR、Deepseek-OCR 等，并提供了提示词格式、量化选择及减少幻觉的建议。

llama.cpp b10311 修复 Qwen3-TTS 重复文本问题

llama.cpp 发布 b10311 版本，修复了 Qwen3-TTS 生成时文本流重复输入的问题。该问题源于非流式预填充与流式覆盖层不匹配，导致模型在生成时重复读取文本。修复后，覆盖层改为与预填充匹配的单个 tts pad 行。

张一鸣拒绝蒸馏捷径，字节豪赌10万亿参数模型

字节跳动创始人张一鸣在Seed全员会上明确拒绝通过蒸馏方式追赶前沿大模型，坚持从头训练以追求长期技术主权。尽管字节在算力、数据和资金上具备优势，其Seed 2.1 Pro在全球榜单仅列第21位，落后于其他中国模型。字节计划训练10万亿参数的超大模型，并投入超2000亿元建设算力基础设施，以规模跃迁实现技术领先。

可解释的 MEG 语音解码：皮层源与驱动检索的刺激特征

Hugging Face 每日论文展示了一项关于可解释的 MEG 语音解码研究。研究者重新设计了 MEG 到音频检索架构，将解码器参数减少约 20 倍，同时保持与最先进系统相当的性能（Top-1 准确率 39.75%）。通过将空间注意力替换为球谐函数、减少分支并添加时间滤波，模型权重可映射到皮层源，揭示语音感知网络，并发现左侧分支携带更高频的节律成分。配对

DataSpace：异构工作区可验证分析的数据代理基准

香港科技大学团队推出 DataSpace 基准，用于评估数据代理在异构工作区（含数据库、文件、视频等）上的可验证分析能力。该基准包含 410 个跨语言任务和 7439 个工件，并作为 KDD Cup 2026 官方评测基准。评测显示最佳准确率仅 66.34%，且多模态证据整合和跨源连接是主要瓶颈，表明该领域仍有很大提升空间。

MiniMax H3 FP8 量化模型发布，支持视频音频生成

rzgar 发布了 MiniMax H3 的 FP8 量化版本，包括 MXFP8、FP16attn 和 FP8 E4M3FN 等多种变体，并提供了文件下载。该模型支持图像到视频和音频生成，量化后文件大小从 47.6GB 降至 21GB，同时保留了关键张量的原始精度以保证质量。作者还提供了 ComfyUI 文本增强节点和超分辨率模型，以改善生成效果。

无辜画面，仇恨故事：多轮视觉故事生成中的仇恨意图评估与检测

该研究指出，前沿文生图系统（如Gemini和GPT-Image）支持多轮对话生成一致的角色和场景，使得制作仇恨性视觉故事（有序图像组）变得廉价且可扩展。作者引入了HatefulStoryPrompts数据集，包含55个仇恨故事、330个多轮配置，并评估了五个前沿模型，发现所有模型都能完成超过80%的故事，最强模型达到99.0%。现有审核系统在检测组级仇恨含义

RIG-RoPE：关系与实例门控的旋转位置编码

该论文提出 RIG-RoPE，一种关系与实例门控的旋转位置编码机制，用于改进多模态大语言模型中的位置编码。它通过模态指示符、视觉实例标识符和持续时间坐标，解决静态多维位置分配中的跨模态空间干扰和时间步长不均问题。该方法无需新增参数，可在平铺注意力内核中实现，但尚未声称经验上的优越性。

StyleComposer：无需训练的多参考风格组合方法

arXiv 上发表了一篇题为 StyleComposer 的论文，提出了一种无需训练的多参考风格组合方法。该方法通过将颜色、纹理和结构等风格属性分别路由到扩散模型中分离效果最好的表示，并在去噪过程中协调这些路径，从而在无需训练或反转的情况下，同时满足多个参考风格和文本提示。该方法为每个属性提供了强度滑块，比现有方法更接近联合满足三个参考和提示。

CGTime：通过计算与语言解耦实现多变量时间序列对齐

arXiv 上发布了一篇关于多变量时间序列与语言对齐的研究论文。研究指出，传统方法依赖 LLM 描述时间序列，导致标签质量受限于模型感知能力，且多变量模式难以处理。为此，研究者提出解耦感知与描述的方法，用确定性代码计算统计量，再由 LLM 进行表达，构建了 4B 参数的 CGTime 模型。该模型在多变量理解任务上优于 GPT-4o-mini 和 GPT-5

F²Agent：面向多模态交易的金融智能体融合范式

arXiv 论文提出 F²Agent，一种用于多模态金融交易的新型智能体范式。它通过分层专业智能体提取模态特定信号，并引入模态感知自适应融合机制和噪声鲁棒一致性正则化，以捕捉跨模态依赖并生成抗噪交易信号。在六种股票和加密货币资产上的实验表明，F²Agent 在多项交易指标上优于 16 个基线，平均年化收益率相对提升超过 20%，在 GOOG 和 TSLA 上

阿里视频大模型Wan3.0公测：文档PPT也能变视频

阿里巴巴于8月6日公测视频生成大模型Wan 3.0，支持单次生成30秒视频，并首次支持doc、xls、ppt、pdf、md等文档格式输入，可将文档转化为视频。该模型在生成时长、全能参考、真实世界还原等方面升级，旨在从内容生成工具跃迁为生产力工具。Wan3.0已在多个平台开启公测，API价格按分辨率收费，接口近期全量开放。

阿里视频大模型Wan3.0公测：支持文档转视频，单次生成30秒

阿里巴巴于8月6日公测视频生成大模型Wan 3.0，支持单次生成30秒视频，并首次支持doc、xls、ppt、pdf、md等文档格式输入，可生成教学课件、产品演示等内容。该模型在人物真实感、视频编辑等方面升级，API价格按分辨率不同为0.3至1.2元/秒，已在多个平台开放公测。

另有 1 家信源报道