返回主题地图

多模态

技术方向 · 文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品 · 共 1350 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

9月2日周三 · 2 条
正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

LuffyTheFox 发布基于 Qwen3.6 的无审查多模态 MoE 模型 Genesis Hermes V12

LuffyTheFox 发布了基于 Qwen3.6-35B-A3B 的无审查多模态 MoE 模型 GGUF 版本,采用其自研的 Genesis 算法对张量进行噪声修复,声称能提升模型稳定性和指令遵循能力。该模型融合了 Hermes 微调数据,支持多语言和视觉任务,并提供了量化脚本和推荐配置。

正文结构化主题已通过公开置信门槛
Google AI一手来源产品发布

谷歌推出Google Pics:集成于Workspace的AI图像编辑工具

谷歌宣布推出基于Nano Banana图像生成与编辑模型的Google Pics工具,面向Google AI Pro和Ultra订阅用户及多数Workspace商业客户。该工具提供对象分割、图像内文本编辑与翻译、协作编辑及多版本生成等功能,并集成到Slides、Docs和Drive中,使用户无需切换应用即可完成图像创作与编辑。

另有 2 家信源报道

9月1日周二 · 18 条
正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

ISTA-DASLab 发布 Qwen3.8-27B 非均匀量化 GGUF 模型

ISTA-DASLab 发布了 Qwen3.8-27B 的 GSQ-RCO GGUF 量化版本,提供四种非均匀量化文件及视觉投影器,支持多模态使用。这些量化通过 GSQ 和 RCO 方法实现,在保持任务无损的同时显著减小模型体积,并兼容 llama.cpp、Ollama 和 LM Studio。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10737 发布:修复 qwen4exp 并新增测试

llama.cpp 发布 b10737 版本,主要针对 qwen4exp 架构进行修复,包括序列并行、块位置键控、多模态输入、CUDA 中止等问题,并新增了序列状态保存/恢复的测试。该版本还禁用了 qwen4exp 的 -sm tensor 支持,并提供了 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件。

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

MoziAI发布35B多模态模型,支持本地免费部署

MoziAI团队发布了MoziAI-35B-V3.8,一个基于Ornith-1.5-35B-A3B的开源多模态AI模型,支持本地部署,大小仅15.9GB。该模型集成了动态七维思考框架、Agent LOOP迭代机制、MoziSmartBit混合量化算法,并针对金融领域优化,支持免费商用。

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

MiniMax-H3 发布 GGUF 量化版,支持 ComfyUI 多模态生成

Hugging Face 上发布了 MiniMax-H3 的 GGUF 量化版本,用于 ComfyUI。MiniMax-H3 是一个多模态生成系统,支持文本、图像、视频和音频的统一理解与生成,可生成带原生立体声的 2K 分辨率、最长 15 秒的视频。该模型提供多种变体,并支持通过 API 和在线应用使用。

正文结构化主题已通过公开置信门槛
Langfuse Releases一手来源产品发布

Langfuse v4.27.0 发布:新增多模态评估与缓存功能

Langfuse 发布 v4.27.0 版本,新增多项功能,包括为追踪 IO 解析器添加功能开关、自托管 API 规范渲染器、缓存输入令牌和成本、MCP 评估器测试工具、多模态输入支持,以及为 Claude 在 OpenAI Responses 网关后添加提示缓存断点。同时修复了多个问题,如输出令牌截断、分析导出 URL 检查、提示版本指标维度等。

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论开源

DeepSeek V4 多模态开源:视觉链路深度拆解

DeepSeek 开放了 V4 多模态模型的权重和推理代码,揭示了其视觉处理链路:通过 32 层 ViT 编码图像,使用 Aligner 将视觉特征压缩并映射到语言空间,视觉 Token 直接融入 V4 主干参与 Attention 和 MoE 路由。该设计针对 Agent 场景优化,支持长上下文和工具调用,但面临重复计算和视觉状态管理的挑战。

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Qwen3.8-Flash-Next 混合量化 SSD-PLE GGUF 发布

Baekpica 发布了 Qwen3.8-Flash-Next 的混合量化 GGUF 模型,采用 SSD-PLE 技术将 51.2B 参数的预测性潜在嵌入表移至 SSD,以 BF16 存储,从而将显存预算分配给 128.8B 参数的计算主干。在单个 NVIDIA DGX Spark 上,Q5 变体实现了 606.4 tok/s 的中位冷预填充速度和 28.3

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论产品发布

小云雀AI品牌升级:从生成工具到专业创作伙伴

8月31日,内容创作平台小云雀AI宣布品牌升级,定位为“一起创作好故事”,升级产品能力、创作者扶持政策和内容生态。产品方面,推出自研剧本模型、基于Seedream的AnyCook生图模型、自由画布、3D导演台,并与剪映打通,支持完整故事创作。未来3年将投入一亿积分,更新创作者计划,新增课程中心,覆盖不同成长阶段。

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

GenFirst:生成先于重建的稳定端到端潜在生成建模

GenFirst 提出了一种生成先于重建的端到端潜在生成模型训练策略,通过熵保持和非对称动力学避免潜在空间坍缩,实现了稳定的直接端到端训练。该方法在 ImageNet-256 上 SiT 模型达到 gFID 0.97(带 CFG)和 1.45(不带 CFG),MMDiT 在文本到图像生成中 GenEval 得分 0.90,并扩展到统一多模态生成和表示学习。

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Qwen3.8-27B 2-bit MLX 文本版发布

lukaskremla 发布了 Qwen3.8-27B 的 2-bit MLX 量化版本,该版本移除了视觉塔,仅保留文本生成能力。模型基于 Qwen/Qwen3.8-27B,使用 mlx-lm 0.31.2 转换,采用 2-bit 权重量化(RTN,group-size-64),支持长上下文、多语言、推理和工具使用。用户可单独下载 MTP 头,另有支持视觉的

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

DreamX-Creator:实现2K分辨率原生音视频生成的民主化

Hugging Face 论文页面介绍了 DreamX-Creator 1.0,一个紧凑的 7B 原生联合音视频生成系统。该系统通过跨模态注意力、渐进式联合训练、多模态反馈强化学习以及自回归 2K 细化流程,实现同步的高分辨率音视频输出。其性能与最先进的开源系统相当,并已开源生成器和 2K 细化器,旨在推动原生音视频生成的普及。

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

MoziAI-35B-V3.8:15.9GB 本地部署多模态金融模型

MoziAI-35B-V3.8 是由中国金融领域意见领袖陈雨墨团队开发的开源多模态 AI 模型,基于 Ornith-1.5-35B-A3B 基础模型,采用 MoE 架构,通过自研 MoziSmartBit 量化压缩至 15.9GB,支持本地部署和免费商用。模型具备动态七维思考框架、Agent LOOP 迭代机制、金融垂直优化和无审查特性,支持多语言、视觉理解

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论产品发布

Ropedia发布HOMIE Gen2,为具身智能补上“经验”课

Ropedia发布新一代多模态采集系统HOMIE Gen2,旨在为具身智能补上“经验”这一课。该系统通过4目全景、4路空间音频及50µs多传感器同步精度,记录人类真实操作中的动作、时机和环境变化,采集成本降至约1/12.5。Ropedia提出Human Experience Scaling Law,认为机器人能力将随高质量人类经验规模化增长而提升,并已服务超

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

壁仞科技中期业绩营收激增近20倍,亏损收窄加速

国产GPU企业壁仞科技发布2026年中期业绩,上半年营收12.36亿元,同比增长约1997.6%,亏损大幅收窄76.4%至3.77亿元。公司完成互联网大客户导入,并发布新一代NPO光互连超节点方案,支持FP8/FP4精度,自研BLink 2.0协议。壁仞科技正牵头制定异构混训国家标准,并完成DeepSeek-V4等旗舰大模型适配。

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论产品发布

筷子科技推KP钱包,统一视频商业AI价值计量

筷子科技发布视频商业AI能力统一价值单位“KP”及企业“KP钱包”,旨在统一管理模型调用、内容生产、分发等环节的预算与能力。KP建立在Token之上,覆盖模型、算力、Agent、工具等资源,企业可通过KP钱包分配预算并管理多业务环节。目前Kuaizi已积累超1.2亿条商业视频,服务13500多家付费企业,并展示了多个客户效率提升案例。

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

参数化多模态用户记忆:存储字幕无法承载的感知信息

本文提出了一种参数化多模态用户记忆方法,将感知记忆(如声音、面部)以原生模态存储,通过VLM进行指代定位、专用编码器提取身份键,并利用AttMem记忆库以注意力令牌形式存储,无需外部检索。实验表明,该方法在跨年龄、多说话人等场景下显著优于基于文本描述的记忆系统,弥补了纯文本记忆的不足。

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

MIRAGE-CAD:通过构造中介的多模态可执行CAD程序生成

MIRAGE-CAD 是一个多模态 CAD 程序生成系统,能从自然语言、图像、点云和 STEP/B-Rep 几何输入生成可执行的 Python CAD 代码,并通过 OpenCASCADE 内核执行。该系统引入显式的构造中间表示(IR)作为计划接口,实验表明该表示有助于提高生成程序的构建成功率和几何保真度,且其可读性为下游执行成功提供参考。研究还发现,可执行

正文结构化主题已通过公开置信门槛
Gemini API Release Notes一手来源API 更新

Gemini API 发布智能体视频理解,支持多模型并减少 token 消耗

Gemini API 于 2026 年 9 月 1 日发布更新,为 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 模型推出了智能体视频理解功能,该功能通过 Interactions 和 GenerateContent API 提供。模型能够动态导航视频时间线,按需请求转录、帧或音频轨道,与静态处理相比,长视频内容可减