llama.cpp b12237:mtmd 支持 Gemma 4 音频输入流
llama.cpp 发布 b12237 版本,其 mtmd(多模态)模块新增对 Gemma 4 输入音频流的支持,采用 480ms 步长处理音频。同时修复了 server 端实时嵌入逻辑:此前实时槽位强制开启 embeddings,导致带音频流的聊天模型(如 Gemma 4)在首批音频行上中止,现在仅对生成音频的模型保留 n batch 输出。该版本同步提供
技术方向 · 文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品 · 共 1341 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
llama.cpp 发布 b12237 版本,其 mtmd(多模态)模块新增对 Gemma 4 输入音频流的支持,采用 480ms 步长处理音频。同时修复了 server 端实时嵌入逻辑:此前实时槽位强制开启 embeddings,导致带音频流的聊天模型(如 Gemma 4)在首批音频行上中止,现在仅对生成音频的模型保留 n batch 输出。该版本同步提供
MiniMax 在 Hugging Face 发布 MiniMax-H3 全模态生成系统,支持文本、图像、视频、音频统一理解,可生成带原生立体声的视频,最高 2K 分辨率、15 秒时长。系统由 H3-Context-IR、H3-Base、H3-Regenerate-2K 三个模块组成,提供 Base-FL2VA 与 Base-Ref2VA 两种变体,并同步开
llama.cpp 发布 b12236 版本,核心变更为 mtmd 模块新增 mtmd helper resampler 辅助函数,并同步更新文档、补充测试,同时引入 MA MAX FILTER ORDER 常量。该版本照例提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多后端预编译二进制包,涉及 CUDA
AWS 宣布 NVIDIA Nemotron 3.5 Super VL 视觉语言模型已在 Amazon SageMaker JumpStart 上线,用户可通过 SageMaker Studio 或 Python SDK 快速部署。该模型采用 120B 参数混合 MoE 架构(12B 激活参数)与 C-RADIO 视觉编码器,支持图像、视频、文本输入,上下文
Meta 发布其迄今最小、最高效的 AI 模型 Muse Ember,面向 AI 智能体日常重复性任务,如调用工具、小型编码、请求路由、数据抽取和长文档处理。Meta 称其在各推理级别上每美元智能高于 Claude Haiku 5.5 和 GPT-6 Luna,Artificial Analysis 测试中每任务成本约 0.14 美元。该模型支持文本、图像、
字节跳动 Seed 团队发布图像生成模型 Seedream 5.5,主打专业生产工作流,支持最多 100 轮多轮编辑且未改动区域保持像素级稳定、无色彩漂移,并可原生生成带透明背景的 RGBA 图像。字节称其在光照、材质、皮肤质感与密集小文字还原上更真实,并在文本结构与真实感上领先 GPT Image 2.5 Sunburst 等模型。该模型正通过即梦、豆包、
另有 1 家信源报道
RedHatAI 发布了 Qwen3.8-27B 的 INT4 量化版本,权重由 16 位压缩至 4 位,磁盘与 GPU 显存需求降低约 75%,激活值保持原精度并采用 FP8 KV cache。该模型使用 LLM Compressor 结合 AWQ 平滑与 W4A16 GPTQ 方案生成,可直接通过 vLLM 部署,并支持推测解码。在 IFEval 等基准
RedHatAI 发布了 Muse-Glimmer-30B-FP8-block,这是对 Meta 的 meta-models/Muse-Glimmer-30B 多模态模型进行 FP8(W8A8 block)量化后的版本。该模型使用 LLM Compressor 以无需校准数据的 post-training 量化方式生成,并以 compressed-tenso
Liquid AI 在 Hugging Face 发布 LFM3-VL-2B,一款面向端侧视觉理解的多模态模型,以 LFM3-1.7B 语言模型结合自研视觉编码器构成,总参数约 1.92B。该模型首次在 LFM 视觉系列中支持视频输入,并具备逐步推理(thinking)以及空间与具身推理能力,可用于图表、数学等较难视觉问题及机器人相关场景。模型采用 lfm1
Meta Superintelligence Lab 发布轻量级模型 Muse Ember,主打低成本、高并发的智能体执行场景,每百万输入 token 定价 10 美分,并称其性价比优于 Anthropic Haiku、OpenAI Luna 及开源竞品 DeepSeek V4.1 Flash、GLM 5.3 Flash。该模型支持文本、图像、音频多模态输入
Latent Space 播客深入访谈 AI 数据公司 Handshake,其 AI 训练业务在约一年内从上线做到 10 亿美元年化毛收入。节目展示了 Handshake 为前沿实验室构建的强化学习环境,涵盖金融(ATLAS-Finance 银行代理任务)、生命科学(VIALS 科学图像基准)和编码安全模拟,并讨论了实验室如何采购与评估专家数据、评分标准与专
Google 发布 Gemini 4 Argon,将其定位为面向机器人控制、Real2Sim 场景构建、机器人视频多模态标注和策略迭代改进的通用物理推理模型,而非单一末端执行器策略。官方称 Argon 在 ERQA 基准上以纯推理取得 87% 成绩,并可通过 Google AI Ultra 订阅和付费 Gemini API 使用。开发者讨论聚焦仿真保真度与
NVIDIA 在 Hugging Face 发布 Cosmos 3 世界模型家族的四个新开放权重检查点,均基于 Cosmos 3 Nano 后训练,拥有 160 亿可训练参数,采用 OpenMDW1.1 许可,允许商用与非商用。四个模型分别面向自动驾驶多视角数据生成、相机与 LiDAR 同步流式仿真、物理模拟器控制转逼真视频,以及双臂机器人动作预测。NVID
OpenBMB 在 Hugging Face 发布 MiniCPM-OCR-1.0-DSpark 的 GGUF 版本,这是 MiniCPM-OCR 1.0 的 DSpark 草稿头(draft head),用于投机解码加速,并非独立 OCR 模型,需与主模型 checkpoint 及主模型的 mmproj 投影器配合使用。仓库提供 F16 到 Q4 0 共
字节跳动 Seed 团队发布下一代图像生成模型 Seedream 5.5,主打三项升级:支持 100 轮多轮编辑且未编辑区域像素级保留、原生 RGBA 透明背景素材生成、以及更真实的光影材质与更清晰的小字文本渲染。官方评测称其在文本结构和文生图真实感上领先其他主流模型,目标是让图像模型更可靠地进入专业视觉生产流程。
另有 1 家信源报道
OpenBMB 在 Hugging Face 发布 MiniCPM-OCR 1.0 的 GGUF 量化版本,基于 MiniCPM-V-4.6 量化而来,面向 llama.cpp 本地推理。该 1.3B 模型可解析中英文文档与 PDF 中的文本、表格、公式、图表和印章,并提供从 F16 到 Q4 0 的多种量化档位及配套视觉投影器。模型采用两阶段流水线:SDK
字节跳动于11月9日正式发布豆包图像创作模型Seedream 5.5,相比Seedream 5.0 Pro在生成速度、多轮编辑稳定性、透明素材生成、图像真实感和小字渲染方面均有提升。豆包、豆包工作、即梦已同步接入该模型,API即将上线火山方舟,2K方图编辑单张成本约0.28元,不到上一代一半。字节跳动表示后续将推出Pro版本,并拓展模型在Agent工作流中的
另有 1 家信源报道
腾讯正式发布混元Hy4大模型,总参数770B、激活参数49B,首次引入原生视觉理解与电脑操作(CUA)能力,并升级长程Agent与指令遵循能力。模型已在腾讯云TokenHub、WorkBuddy/CodeBuddy、元宝、ima等产品上线,API接入OpenRouter等平台,权重将于近期开源。实测显示其可自主完成3D交互页面、PPT重排版、图片批处理工具等
该论文提出「视野外因果演化」(Out-of-Sight Causal Evolution)新问题,要求生成式视频模型在渲染事件后推理其对世界状态的影响,并给出因果合理的结果。作者提出 EvoWorld 框架,由视觉语言模型充当「世界大脑」维护世界状态并推理状态转移,配合分段自回归视频渲染器实现视觉呈现。团队还构建了 EvoWorld-Data 与 EvoWo
该论文提出AIM(自适应交互多智能体辩论)框架,用于多模态大模型推理。AIM不再固定使用文本或图结构交互,而是动态选择文本、图以及任务相关模态(图像区域、音频片段、视频时空片段)的组合来交换证据。实验覆盖VQA、Audio-QA、Video-QA共八个基准,AIM准确率最高,相比最佳单模态基线提升至多6.4%,相比各基准最优固定组合再提升至多4.2%,同时t