MLLM生成网页的跨环境兼容性研究
本研究首次系统性地评估了多模态大语言模型(MLLM)生成网页的跨环境兼容性。研究者构建了包含2032个标注实例的WebCompat数据集,涵盖8种AI工具生成的网页在9种浏览器和设备组合下的渲染情况。研究发现68%的生成网页存在至少一个兼容性问题,主要症状为页面级布局失败(88.3%),根因包括缺失viewport meta标签(46%)和缺乏弹性布局(29
技术方向 · 文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品 · 共 1351 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
本研究首次系统性地评估了多模态大语言模型(MLLM)生成网页的跨环境兼容性。研究者构建了包含2032个标注实例的WebCompat数据集,涵盖8种AI工具生成的网页在9种浏览器和设备组合下的渲染情况。研究发现68%的生成网页存在至少一个兼容性问题,主要症状为页面级布局失败(88.3%),根因包括缺失viewport meta标签(46%)和缺乏弹性布局(29
StrAD 论文提出了一种用于长视频音频描述生成的新基准和流式方法,将任务重新定义为流式密集视频描述,无需真实时间戳即可在滑动窗口内生成 AD。其微调模型 StrAD-FT 在 CMD-AD 上达到 SOTA(CIDEr 36.3),在 StrAD 基准上为 51.0,但流式任务中时间定位和叙事连贯性仍有局限。这是首个流式全视频 AD 生成方法,有助于推动可
AutoDesign 是一个利用元优化器递归改进代码代理的框架,用于长时程代理设计,在学术论文到海报生成任务上取得最新成果。在 PosterBench 主赛道中,AutoDesign 得分 78.32,超过商业系统 Claude Design 7.45 分。在完全自主的长时程循环中,它能在 40 分钟内执行 253 次工具调用和 11 次编辑,成本低于 3
英特尔宣布其Muse Glimmer模型在Intel GPU和Xeon CPU上通过上游vLLM和Hugging Face Transformers实现Day-0支持,覆盖从工作站到云实例的广泛硬件。该支持得益于英特尔的“Upstream First”承诺、对开源社区的持续贡献以及与Meta的紧密合作。用户可通过vLLM的HTTP服务器(兼容OpenAI A
研究人员提出了一种新的可提示凝视目标估计(PGE)任务,通过文本或视觉提示识别主体并预测凝视目标,无需多阶段流水线。他们开发了Gaze-Co数据集(包含12万张带提示标注的图像对)和GazeAnywhere模型,该模型使用基于Transformer的检测器融合冻结编码器特征,同时解决主体定位、帧内/外存在性和凝视目标热图估计。GazeAnywhere在多个P
Suno 推出 Studio 2.0,为 Premier 订阅用户提供基于聊天的 DAW 功能,用户可通过自然语言创建乐器、人声和自定义插件,并支持 MIDI 导入、录音、编辑、分轨分离、自动化曲线以及 32-bit/48 kHz 的无限制多轨导出。该更新与公司近期限制下载的政策相矛盾,可能意在吸引专业用户。此外,Suno 因使用受版权保护材料训练模型而面临
bartowski 发布了 Muse-Glimmer-30B 模型的 GGUF 量化版本,该模型由 meta-models 开发,支持文本和图像输入,并具备 MTP 和 imatrix 功能。量化版本使用 llama.cpp 生成,提供从 bf16 到 IQ3 XXS 的多种量化格式,以适应不同硬件和性能需求。推荐用户选择 Q4 K M 版本作为性能与大小的
Google 宣布重组其 AI 部门 Google DeepMind,首席科学家 Jeff Dean 离职创业,DeepMind 联合创始人兼 CEO Demis Hassabis 将卸任 CEO 并专注于长期研究。The Verge 高级 AI 记者 Hayden Field 在 Decoder 节目中分析了这一变动,认为尽管 Google 拥有巨大资源和
香港科技大学(广州)陈昶昊教授团队提出 AdvNav,这是首个面向视觉语言导航任务的黑盒行为引导对抗攻击框架,无需访问模型内部参数,仅通过观察智能体行为即可生成扰动。在 R2R 数据集上,AdvNav 对 HAMT 和 MapGPT 模型分别取得 49.70%、65.96% 和 87.30% 的攻击成功率,揭示了当前视觉语言导航系统普遍存在的视觉脆弱性。该研
该研究对多模态大语言模型的视觉工具使用进行了因果审计,发现尽管聚合准确率有所提升,但返回的视觉证据往往对答案没有因果影响,或调用计划不连贯。研究提出了视觉证据增益等干预指标,并在六个模型和五个基准上揭示了两种失败模式,将这种不一致称为视觉工具使用的幻觉。
NeuPAT提出了一种神经元感知的可塑性分配调优框架,用于在多模态指令调优过程中保留大语言模型的语言能力。该方法通过小规模探测阶段估计神经元适应模式,选择性保护语言敏感神经元,同时促进多模态适应。实验表明,NeuPAT在11个语言基准上恢复了94.5%的语言能力退化,同时保持了相当的多模态性能。
该研究提出Code-with-Image范式,将视觉推理从语言链转移到Python程序执行,并构建CwI-Bench基准测试。作者提出Self-Reflection over Executable Reasoning,一种无需训练的自我进化循环,通过观察和可执行反射改进技能库,显著提升GPT-5.6-luna和Qwen3.5-27B在基准上的准确率,且技能可
GeoUniPR 提出了一种几何一致的跨模态地点识别框架,通过将 LiDAR 点云投影到相机视角构建多通道深度图像视图,并利用参数高效微调的 ViT 编码器学习统一嵌入空间,无需复杂的对齐模块或多阶段训练。实验表明,GeoUniPR 在 KITTI 和 KITTI-360 数据集上达到了最先进的性能,并具有良好的跨数据集泛化能力。
Vercel AI SDK 发布了 @ai-sdk/moonshotai@2.0.45 更新,该版本不再基于 @ai-sdk/openai-compatible,而是由包自身实现聊天功能,并支持视频输入,将视频文件转换为 Moonshot 的 video url 内容部分。同时,音频和 PDF 文件部分现在会在客户端抛出错误,并新增了 promptCache
荣耀于2026年8月12日发布全球首款机器人手机荣耀Robot Phone,该手机配备四自由度钛合金灵巧云台和系统级Agent架构,支持多模态具身交互。荣耀与ARRI合作引入电影级影像技术,并搭载第五代骁龙8至尊版平台,售价9999元起。该产品旨在推动AI终端从数字智能迈向具身智能,开启人机伙伴关系新阶段。
研究人员推出了MBA-Bench,这是首个用于训练和评估商业构思智能体的多模态基准,包含六个领域的3万个样本。他们提出了MBA-b和MBA-k模型,通过LoRA微调和组相对策略优化,结合创造性和可行性奖励进行训练,显著优于文本和多模态基线。MBA-b和MBA-k分别比多模态基线提升25.6%和35.8%。
DeepSeek 发布了 V4 Pro 0813 模型,目前仅通过 API 提供,OpenRouter 已上线。作者推测其开放权重可能发布,因为前代模型均有权重。该模型在不同推理级别下生成的鹈鹕图像差异显著,且基准测试结果通过非官方渠道传播。
Cohere 发布了 North-Micro-Vision-Instruct,一个 2.4B 参数的开源视觉语言模型,支持原生分辨率图像输入,采用 Apache 2.0 许可证。该模型结合了 400M 参数的视觉编码器和 2B 参数的语言模型,通过四阶段训练优化了文档理解、多语言视觉理解等能力。模型旨在支持边缘设备和移动端部署,并可通过微调适应特定领域。
微软研究院推出新基准 MindTopo,用于评估多模态大语言模型的拓扑推理能力,涵盖连通性、封闭、顺序、分离和打结等概念。研究发现,当前模型在静态图像识别上表现较好,但在交互式规划任务中显著下降,错误多出现在规划阶段而非感知阶段。该基准旨在为机器人及交互环境中的 AI 系统提供诊断工具,并指出需要显式拓扑状态或保持拓扑的世界模型。
谷歌在Made by Google 2026活动上发布了Pixel 11系列、Pixel Watch 5和Pixel Tag追踪器,并展示了多项Gemini驱动的功能。Pixel 11起售价899美元,Pro版起售价1099美元,均因RAM短缺而涨价。Pixel Tag定价29美元,兼容Android Find Hub网络。Gemini新增了手语翻译和Ram