阶跃发布 StepAudio 3 系列语音大模型,多款登顶 Artificial Analysis 全球榜单
阶跃于9月15日发布新一代语音大模型 StepAudio 3 系列,一次性推出 Realtime、ASR、TTS、Gen 和 Music 五款模型,覆盖实时语音交互、语音识别、语音生成和音乐创作等场景。多款模型在 Artificial Analysis 榜单中位列全球第一,其中 Realtime 在 Conversational Dynamics 榜单以 9
技术方向 · 语音合成、实时对话、音乐生成与音频理解 · 共 168 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
阶跃于9月15日发布新一代语音大模型 StepAudio 3 系列,一次性推出 Realtime、ASR、TTS、Gen 和 Music 五款模型,覆盖实时语音交互、语音识别、语音生成和音乐创作等场景。多款模型在 Artificial Analysis 榜单中位列全球第一,其中 Realtime 在 Conversational Dynamics 榜单以 9
该论文针对古兰经背诵场景,提出将ASR转录文本与参考文本的差异标注为类型化、定位化的事件,而非简单视为错误。作者完成了100个生产录音案例的人工标注,包含348个评分单元和162个定位事件,并定义了十种组合标签。实验显示,普通diff的标签感知F1为0.525,而编码智能体在初步试点中表现差异巨大(F1从0.143到0.892),主要剩余挑战在于标注约定而非
Argmax 在 Hugging Face 上发布了 SpeakerKit Core ML 模型,这是一个基于 pyannote 的说话人分离(diarization)模型,采用 Core ML 格式并经过量化,配套 WhisperKit 使用。该模型与 Swift 框架 SpeakerKit 配合,相关架构和基准测试发表在 Interspeech 2025
Xinference 发布 v3.4.0,新增 vLLM 原生多进程执行器路由、Gemma-4 Transformers 后端批处理支持、prefill/decode 分离、多 worker 副本扩缩容等特性,并加入 MonkeyOCR、dots OCR、Fish Audio S1-mini/S2-Pro、MiniCPM5-2B 等模型支持。该版本还增强了缓
OpenAI 将 GPT-Live-1 语音模型以 API 形式开放给开发者,该模型支持全双工(同时听说),已在 ChatGPT 内部运行。开发者可将其与不同后端模型搭配,按任务匹配推理深度、速度与成本,定价为每分钟 0.05 美元。Yelp 已用其处理电话预订并报告通话处理改善。OpenAI 基准显示该模型在全双工交互、轮次延迟、工具调用准确率等指标上明显
该论文提出一种无需训练的多智能体推理框架,用于从口语对话中推断说话人之间的关系。框架包含两种设计:多角色多智能体辩论(MRMAD)为智能体分配互补角色或社会理论视角;多智能体竞争(MAC)通过成对裁决比较假设并淘汰较弱候选。在 Seamless Interaction 数据集上的实验表明,这些方法在多数情况下优于零样本和现有多智能体基线,但声学线索仍未被当前
Hugging Face Transformers 库发布 v5.17.0 版本,新增多个模型支持,包括 HYV4、VibeVoice、NeoMME、Fun-ASR-Nano、KimiLinear 和 Canary。这些模型涵盖语言、语音、多模态等不同领域,并引入了多种创新架构。该版本扩展了 Transformers 的模型生态,为开发者提供了更多选择。
Hugging Face 上发布了越南语语音识别模型 ZipFormer-30M-RNNT-6000h,基于 ZipFormer 架构,仅 30M 参数,在 CPU 上转录 12 秒音频仅需 0.3 秒。该模型在 VLSP 2025 竞赛中获第一名,并在多个基准上优于更大模型。模型采用 RNN-T 损失,训练数据约 6000 小时,支持快速 CPU 推理,适
阿里 FunASR 发布 v1.4.15 版本,主要改进包括 NumPy 2 兼容性、流式与训练可靠性修复,以及 MOSS 和部署文档更新。该版本还提供了与 llama.cpp 运行时配套的预编译二进制文件,支持多种平台。
安克创新在柏林IFA前夕宣布将Anker、Anker SOLIX、eufy、eufyMake、soundcore五个品牌统一归于Anker品牌之下,并发布多款新品,包括搭载自研存算一体AI音频芯片Thus的耳机和OTC助听器,以及家庭AI数据中枢MindBase。此举旨在通过端侧AI和本地算力整合个人与家庭场景,推动品牌从多品类消费电子公司向全球化智能硬件科
Hugging Face 发布了 Open Yap 1K 数据集,包含 1,000 小时的双通道英语自然对话录音,采样率为 48kHz,免费供商业和研究使用。该数据集通过自建应用让朋友和家人自然通话录制,捕捉了真实对话中的打断、重叠、笑声等特征,旨在为全双工语音模型提供训练数据。相比 Fisher 和 Switchboard 等旧数据集,Open Yap 1
LETHE 是一个在 SuperCollider 中实现的自指涉音频系统,采用 GAN 的正式词汇,但无需外部数据集或监督。它通过一个五特征线性判别器与随机扰动优化器交互,动态调整反馈延迟网络的参数,使音频演化。实验表明,主动生成器对参数演化是必要的,该系统将作曲家的参数空间与自适应闭环结合,延续了自指涉电子音乐的传统。
字节跳动旗下Seed研究团队正式推出Seeduplex,一款原生全双工语音大模型,基于全新的“边听边说”框架,支持同时聆听与说话,显著提升交互自然度与流畅度。相比半双工模型,其误响应率和误打断率降低一半,过早响应率降低40%,并已在豆包App全量上线,实现行业首次大规模部署。该模型在复杂声学环境中的干扰抑制和自适应端点检测方面取得突破,多维度评估显示其在对话
阿里 FunASR 发布 v1.4.14 版本,主要修复了 Git 归档和源码安装的便携源码包问题,并确保 MOSS-Transcribe-Diarize 在模型、部署和服务文档中保持可发现性。该版本还提供了最新的实时和工业部署指南,并附带经过验证的 runtime-llamacpp-v0.2.6 跨平台二进制文件。
SpeakPay项目针对尼泊尔语金融语音识别领域,构建了首个公开的NepFinSpeech-403数据集,并通过LoRA微调Whisper large-v2模型,将词错误率从129.95%降至42.58%,交易成功率从1.67%提升至33.33%。研究还发现100-300条领域特定语音即可获得大部分适应收益,并部署了公开的语音优先网页应用。
该模型基于NVIDIA Nemotron 3.5流式ASR(0.6B)微调,用于全古兰经诵读识别,支持Uthmani脚本及泰吉威德符号,并增加音素头用于错误检测。最佳检查点(step 78000)在留出集上达到CER 2.76%、WER 4.43%、变音符号F1 98.27%。训练数据包含179,376个片段(约868小时),模型参数全部可训练。
阿里 FunASR 发布 v1.4.13 版本,主要修复了 ONNX 运行时错误、NumPy 2 ABI 不匹配等问题,并新增了对 n8n OpenAI 音频转录的支持以及 Qwen3-ASR 的离线 vLLM 示例。该版本还提供了多平台的 llama.cpp/GGUF 运行时预编译二进制文件,方便用户快速部署语音识别模型。
本文提出了一种参数化多模态用户记忆方法,将感知记忆(如声音、面部)以原生模态存储,通过VLM进行指代定位、专用编码器提取身份键,并利用AttMem记忆库以注意力令牌形式存储,无需外部检索。实验表明,该方法在跨年龄、多说话人等场景下显著优于基于文本描述的记忆系统,弥补了纯文本记忆的不足。
阿里 FunASR 发布了 v1.4.11 版本,主要修复了 SentencePiece 词标记对齐问题,并自动附加 Python 包。该版本与 llama.cpp/GGUF 运行时 v0.2.6 配对,提供了多平台(Linux、macOS、Windows)的预编译二进制文件,支持 CUDA、Vulkan 等。用户可通过 PyPI 安装或下载对应平台的运行时
阿里 FunASR 发布 1.4.10 版本,修复了超长中文句子的可读字幕回退边界问题,通过平衡时长和长度并优先考虑 Jieba 词边界、标点、脚本转换和真实时间戳间隙,改善了字幕生成质量。在混合中韩样本上,84 个源片段生成了 133 个字幕,无时长或长度违规。该版本还包含已验证的 llama.cpp 运行时归档,支持多种平台和硬件变体。