返回全部动态

Pika 基于 MiniMax H3 开源 H3 Flex,六步实现音视频联合生成

雷峰网 AI科技评论开源质量 73

AI 摘要

Pika 基于 MiniMax H3 发布衍生模型 Pika H3 Flex,开放适配器权重与推理代码,通过六步去噪联合生成画面和声音,支持文本、首尾帧及多模态参考输入。该模型原生支持 480P、768P 输出,可生成约 5 至 15 秒视频及同步立体声音频,并提供 ComfyUI 工作流与 Hugging Face Diffusers 接入。Pika 通过监督微调、投影分布匹配蒸馏(PDMD)将 50 步去噪压缩至 6 步,并用奖励反馈学习和直接偏好优化训练 LoRA 适配器。H3 开源一个月内下载量超 2400 万次,产生超 300 个公开衍生模型。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

0 近日,Pika 发布 MiniMax H3 衍生模型 Pika H3 Flex,并开放适配器权重与推理代码。该模型通过六步去噪联合生成画面和声音,支持文本、首尾帧和多模态参考输入,供创作者进行镜头设计、参考生成和视频编辑。 本次发布包含两套 LoRA 适配器,分别用于文本及首尾帧条件生成、多模态参考生成,同时提供 MiniMax H3 基础组件和本地推理工具。模型原生支持 480P、768P 输出,可生成约 5 至 15 秒的视频及同步立体声音频。Pika 提供 ComfyUI 工作流和 Hugging Face Diffusers 接入方式,方便开发者将其加入现有创作工具。 在本地生成之外,Pika 可通过 API 提供 1080P、2K 和 4K 视频增强,以及音频分轨功能。创作者可以先以较低分辨率生成和筛选草稿,再对选定版本进行高分辨率处理;同步生成的声音则可拆分为对白、配乐、音效、拟音和环境声五类独立音轨,方便在后期分别调整。高分辨率的增强视频和音频分轨则由 Pika API 服务提供。 Pika 在技术博客中介绍,团队先在内部音视频数据集上对 MiniMax H3 进行监


发布时间:2026-11-01 17:46
抓取时间:2026-11-01 19:55
来源机构:雷峰网
阅读原文leiphone.com