返回主题地图

多模态

技术方向 · 文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品 · 共 1351 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

8月16日周日 · 5 条
正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

LuffyTheFox 发布基于 Qwen3.6 的无审查多模态 MoE 模型 GGUF 版

LuffyTheFox 发布了基于 Qwen3.6-35B-A3B 的无审查多模态 MoE 模型 GGUF 版本,采用其自研的 Genesis 算法进行张量噪声修复,并融合了 Hermes 微调数据以增强 agent 能力。该模型支持中英文,旨在提升指令遵循和上下文清晰度,并提供了量化脚本和推荐配置。

正文结构化主题已通过公开置信门槛
量子位观点

李飞飞访谈:AI是能力放大镜而非替代者

李飞飞在Huberman Lab访谈中表示,AI不是人类的替代者,而是个人能力的放大镜。她回顾了视觉在AI发展中的基石作用,从ImageNet到Sora的演进,并指出AI缺乏私人情感体验和真正的共情。她强调AI在医疗等领域的辅助价值,主张全社会共同参与AI治理,而非仅由科技企业决定。

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Lightricks 发布 LTX-2.3 开放权重音视频生成模型

Lightricks 发布了 LTX-2.3,这是其 LTX-2 联合音视频基础模型的重大更新,提升了音频和视觉质量以及提示遵循能力。该模型基于 DiT 架构,可生成同步的视频和音频,并提供多种检查点,包括完整版、蒸馏版和上采样器。模型权重开放,支持本地运行,并提供了 ComfyUI 和 PyTorch 代码库等集成方式。

正文结构化主题已通过公开置信门槛
Ollama Releases一手来源产品发布

Ollama v0.32.14 发布:修复 WebP 图像转码与 Qwen 渲染器

Ollama 发布了 v0.32.14 版本,主要修复了 llama-server 对 WebP 图像的转码问题,并让 Qwen 渲染器能容忍非开头的系统消息。该版本更新了变更日志,用户可通过 GitHub 查看完整变更。

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Qwen3.6-35B-A3B 未审查多模态模型 Genesis Hermes V7 发布

LuffyTheFox 发布了基于 Qwen3.6-35B-A3B 的未审查多模态 MoE 模型 GGUF 版本,名为 Genesis Hermes V7。该模型通过其自研的 Genesis 算法对张量进行噪声修复,并融合了 Hermes 微调数据,旨在提升模型稳定性和指令遵循能力。模型支持多语言和视觉任务,并提供了量化脚本和推荐配置。

8月15日周六 · 8 条
正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

MiniMax H3 量化权重集合发布,支持消费级 GPU 本地运行

Hugging Face 上出现了一个社区整理的 MiniMax H3 量化与剪枝权重集合,支持 INT4、INT8、混合精度及 NVFP4 格式,旨在让消费级 GPU(16-24GB 显存)用户通过 ComfyUI 本地运行 MiniMax H3 的多模态视频生成模型。该集合提供了针对不同显卡的下载指南,并包含文本编码器和 VAE 文件。MiniMax H

正文结构化主题已通过公开置信门槛
Xinference Releases一手来源产品发布

Xinference v3.2.0 发布:新增多模型支持与副本扩展功能

Xinference 发布 v3.2.0 版本,新增多项功能,包括在 /v1/chat/completions 中支持 logprobs、支持部署 R3-embedding-0.6b 和 R3-rerank-0.6b 模型、支持 jina-reranker-v3.5 的 listwise API、OCR API 支持 PDF 输入、新增 DeepDoc OC

正文结构化主题已通过公开置信门槛
THE DECODER研究

新基准测试显示AI模型视觉感知能力仍差

Moonshot AI 推出了 PerceptionBench 基准测试,用于独立评估多模态模型的视觉感知能力,不涉及逻辑推理和外部知识。测试结果显示,包括 GPT-5.6 Sol、Kimi K3 和 Claude Fable 5 在内的所有领先模型均表现不佳,最高准确率仅为 59.7%。作者指出,许多所谓的推理错误实际上源于视觉感知缺陷。该基准测试基于真实

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Blackfrost 发布 Muse Glimmer 30B 去拒绝 GGUF 量化版

Blackfrost-AI 发布了 Muse-Glimmer-30B-Abliterated-GGUF,这是基于 Meta 的 Muse Glimmer 30B 模型去除拒绝行为后的 GGUF 量化版本,支持本地运行。该模型提供从 Q2 K 到 Q8 0 的完整量化阶梯,并包含视觉投影器和 DFlash 投机解码器,在 RTX PRO 6000 上可实现约

正文结构化主题已通过公开置信门槛
OpenAI Python SDK Releases一手来源API 更新

OpenAI Python SDK v3.1.0 发布:新增 WebSocket 功能并弃用 Sora API

OpenAI 发布了 Python SDK v3.1.0,新增 WebSocket 流 ID、工作负载身份访问令牌事件,并弃用 Sora 视频 API。该版本还引入了 Ultrafast 层级、结构化 MCP 和 WebSocket 错误处理,并移除了 Stainless 归属和基础设施。

正文结构化主题已通过公开置信门槛
THE DECODER模型发布

阿里Qwen发布Qwen3.8开源模型,性能超越更大版本

阿里巴巴的Qwen团队发布了Qwen3.8系列模型,包括核心的Qwen3.8-27B多模态稠密模型和更大的Qwen3.8-2.4T-A95B模型,权重以Apache 2.0许可证开源。Qwen3.8-27B在编码和办公任务上优于更大的Qwen3.7-Plus,并增强了智能体能力,原生支持262K上下文,可通过YaRN扩展到100万,支持图像和视频处理。模型已

正文结构化主题已通过公开置信门槛
The Verge AI产品发布

谷歌允许关闭Gemini可见水印,但保留隐形标识

谷歌宣布允许用户关闭Gemini和Flow中AI生成内容的可见水印,但会继续嵌入不可见的SynthID和C2PA水印。该设置将逐步推广至Search,但在要求可见水印的国家不会启用。此举与OpenAI、Meta等公司的做法一致,旨在平衡内容透明与用户体验。

正文结构化主题已通过公开置信门槛
TechCrunch AI产品发布

谷歌允许用户移除AI生成内容的可见水印

谷歌宣布允许用户从其AI生成内容(包括图像、视频和歌曲)中移除可见水印,但不可见的SynthID水印和C2PA元数据仍将保留以确保透明度。该功能将在Gemini和视频编辑器Flow中提供,并即将支持Search。谷歌还开源了新库Credentio,使开发者能够在应用中嵌入本地验证机制。此举旨在平衡创意控制与安全,并紧随Anthropic为遵守欧盟法规而添加水

另有 1 家信源报道

8月14日周五 · 7 条
正文结构化主题已通过公开置信门槛
量子位模型发布

Qwen3.8-27B开源:家用显卡可跑,Apache 2.0免费商用

阿里巴巴正式开源Qwen3.8-27B模型,该模型为原生多模态稠密模型,支持262K原生上下文,可通过YaRN技术扩展至1M tokens,在编程和办公场景性能大幅提升,并新增reasoning effort功能。模型以Apache 2.0协议开放权重,所有人可免费下载、部署和商用。目前千问已累计开源460余个模型,全球下载量超30亿次。

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论模型发布

阿里开源Qwen3.8系列,千问模型全球下载超30亿次

阿里千问于8月14日晚正式开源Qwen3.8系列模型,其中Qwen3.8-27B为原生多模态稠密模型,仅270亿参数,性能超越Qwen3.7-Plus,在编程和办公场景表现出色,支持消费级显卡量化部署,采用Apache2.0协议。此前旗舰模型Qwen3.8-Max也已开源权重。阿里累计开源460余个模型,Qwen全球下载量超30亿次,衍生模型超30万个,稳居

正文结构化主题已通过公开置信门槛
量子位商业

余家辉离职Meta创业,曾传1亿美元年薪

余家辉于2026年8月14日宣布离开Meta,结束在Meta超级智能实验室(MSL)TBD Lab一年多的工作。他带领多模态团队推出了Muse Spark、Voice Mode、Muse Image和Muse Video等模型,但未透露新公司细节。其离职引发对Meta人才流失的关注,alphaXiv统计显示已有929名研究者离开Meta。

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

AutoPrune:利用 LLM 自动设计视觉令牌剪枝策略的 AI4AI 框架

AutoPrune 是一个由 Hugging Face 论文提出的 AI4AI 框架,利用大型语言模型自动设计视觉令牌剪枝策略,通过领域特定语言和残差搜索公式实现高效剪枝。实验表明,在移除 94.4% 视觉令牌时,AutoPrune 保留了超过 99% 的全令牌性能,同时将 FLOPs 减少 9.9 倍,预填充延迟降低 6.4 倍。该框架在 14 个多模态基

正文结构化主题已通过公开置信门槛
Vercel AI SDK Releases一手来源API 更新

Vercel AI SDK 更新:支持 Grok Imagine Video 1.5 及参考音频

Vercel AI SDK 的 xAI 提供商更新至 v3.0.121,新增对 Grok Imagine Video 1.5 模型的支持,包括原生 1080p 分辨率(文本/图像转视频)和参考音频功能。修复了参考路由问题,并支持通过预设语音 ID 在提示中引用音频。

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

UniSwap:用于说话视频的流式音视频身份替换框架

UniSwap是一个用于说话视频中流式音视频身份替换的框架,通过统一的流式音视频扩散Transformer实现外观和声音的同步替换。它采用交换-重建流程解决训练数据稀缺问题,并结合上下文预训练、条件流式适应和高效自强制DMD等技术,将采样步骤从30步减少到3步。实验表明,UniSwap在音视频同步、身份保持、流式效率和长时生成稳定性方面表现出色。

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

HIMEC:方向变化表示与固定接口解码用于遥感图像变化描述

HIMEC 框架结合方向变化表示(DCR)与固定接口解码,用于遥感图像变化描述(RSICC)。DCR 将符号差异分离为出现、消失和共享上下文流,并通过学习查询编码器生成视觉条件变化查询令牌。在 LEVIR-CC 和 SECOND-CC 基准上,HIMEC 相比直接融合特征记忆显著提升 CIDEr 分数,并诊断了级联模型中的训练-推理不一致问题。源代码将在发表