llama.cpp v0.8.0 发布:新增 LFM3 系列与实时音频 API
llama.cpp 发布 v0.8.0,新增 LiquidAI LFM3 系列(文本、视觉、音频、全模态)支持,并在 mtmd 中引入实验性流式音频 API,同时通过新增的 /v1/realtime 和 /tts 端点实现服务器端实时音频输入输出。该版本还新增 DeepSeek V4.1 Flash、SenseNova U1、Granite Switch D
技术方向 · 文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品 · 共 1342 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
llama.cpp 发布 v0.8.0,新增 LiquidAI LFM3 系列(文本、视觉、音频、全模态)支持,并在 mtmd 中引入实验性流式音频 API,同时通过新增的 /v1/realtime 和 /tts 端点实现服务器端实时音频输入输出。该版本还新增 DeepSeek V4.1 Flash、SenseNova U1、Granite Switch D
小米发布 MiMo-V2.6-Flash-MOPD,这是对 MiMo-V2.6-Flash-RL 检查点的 MOPD 升级版本。该方法将多个领域专家教师模型在策略上蒸馏进学生模型,覆盖长程游戏开发、科学研究和具身智能等难以验证的领域,并缓解了智能体场景中工具调用重复的问题。模型采用稀疏 MoE 架构,总参数 309B、激活 15B,支持 1M 上下文及文本、
小米发布 MiMo-V2.6-Pro-MOPD 模型,这是 MiMo-V2.6-Pro-RL 检查点的 MOPD 升级版。MOPD2 方法将多个领域专家教师模型在策略上蒸馏进学生模型,覆盖长周期游戏开发、科学研究和具身智能等难以验证的领域。该版本还针对 agent 场景中工具调用重复(反复发出相同或高度相似调用、看似忙碌却无进展)的失败模式进行了诊断与缓解。
小米发布 MiMo-V2.6-Pro-RL 旗舰模型,属于 MiMo-V2.6 系列,主打通过扩展强化学习实现自我改进。该模型采用稀疏 MoE 架构(总参数 1.02T、激活 42B),支持文本、图像、视频、音频原生全模态与 1M token 长上下文,并采用混合 RL、Groupwise Agentic Grading 与 MOPD2 蒸馏等技术。评测显示
小米发布 MiMo-V2.6-Flash-RL,这是 MiMo-V2.6 系列中兼顾效率的检查点,主打通过扩展强化学习实现自我改进。模型采用稀疏 MoE 架构(总参数 309B、激活 15B),支持文本、图像、视频、音频原生全模态与 1M token 长上下文,并提出混合 RL、Groupwise Agentic Grading、对齐 RL 与 MOPD2
华为小艺大模型应用实验室首任主任刘睿回顾了从港中文MMLab博士毕业、加入商汤MIG做手机算法,到2024年加入华为的路径。他在商汤时未能立项的对话式修图技术,最终落地于2025年Mate 80发布会;2025年底实验室成立,研究方向覆盖大语言模型、多模态、Agent与具身智能。实验室已发布Aura流式视频理解模型和开源图像生成模型Boogu,Aura被Th
天津大学张长青在CNCC 2026 Tutorial环节报告《广义多模态融合技术》,介绍团队在多模态表征、动态可信融合和通用预测基座三方面的研究。团队提出通过重构观测学习潜在表征以保留模态特有信息,并基于证据理论提出TMC方法动态评估各模态可靠性,在晶体结构识别任务中准确率从约58%-59%提升至93.9%。团队还构建通用多模态预测基座FAM,在18个数据集
NVIDIA 在 Hugging Face 发布 GLM-5.3-Flash-NVFP4,这是对 ZAI 的 GLM-5.3-Flash 模型进行 NVFP4 量化后的版本,使用 NVIDIA Model Optimizer(v0.47.0)完成权重量化。原模型为 320B 总参数、18B 激活的原生多模态 MoE 模型,支持最长 1M 上下文,面向推理、编
NVIDIA 在 Hugging Face 发布 Nemotron 3.5 Parse 文档图像解析模型,采用 C-RADIOv4-SO400M 视觉编码器与 10 层 mBART 解码器,输出带语义版面类别、边界框和阅读顺序的结构化文本。模型约 0.631B 参数,支持 72,505 词表的多语言 tokenizer 与图表识别,面向文档理解、RAG、数据
该论文研究视觉语言模型(VLM)在图像变换任务中如何编码敏感身份属性。作者发现,当要求模型将人脸图像转换为特定种族(如西班牙裔、黑人、白人、亚裔)或性取向(如同性恋、异性恋)时,模型经常照做,且是否照做具有非确定性、群体敏感性,生成图像在统计上可区分并常强化刻板印象。这些表征偏差还会蔓延到文本推理与人物描述任务,并扩展到犯罪性等敏感属性,揭示了多模态AI系统
研究团队提出 OmniBrain-0,一个轻量级统一具身智能体,通过共享高层决策模型协调操作与导航任务,整合任务理解、规划、进度跟踪与反馈驱动的失败恢复。其渐进式训练框架结合具身预训练、领域专家智能体蒸馏与多教师在线策略蒸馏(MOPD),并引入 Rubric-Guided Recursive Self-Improvement(RSI)数据飞轮。在 LIBER
该论文提出将图像质量评估(IQA)从任务无关的分数回归转向以具身任务效用为目标的条件化判断,并给出基于多模态大语言模型(MLLM)的具身IQA智能体框架。作者通过VisDrone证据研究指出,传统感知指标和通用MLLM的IQA分数难以预测下游视觉语言模型任务的成功,而任务条件化的效用分数预测效果更好。论文主张IQA应面向具身、可解释和决策感知的视觉感知重新定
XingChen-AGI 在 Hugging Face 发布开源文档解析视觉语言模型 TeleOCR(约 1.2B 参数,Apache-2.0 许可),统一处理数字文档与摄像头拍摄文档。模型引入多节点共识投票伪标签生成、几何感知建模、曲率引导采样与四阶段渐进训练等技术,在 OmniDocBench v1.6 上取得 96.87 的总体成绩,并在 Dr.Doc
该论文提出 ChronoReplay 训练框架,用于缓解流式空间视觉语言模型(VLM)中的“接口锁定”问题——即模型过度专精于某一种空间答案格式(如类别关系、度量距离或运动轨迹),导致跨任务迁移能力弱。ChronoReplay 将异构空间监督组织为按时间排序的片段,保留各任务原生答案格式并平衡不同监督族的学习。单一检查点在 OVO-S-Bench、OST-B
Comfy-Org 在 Hugging Face 上发布了腾讯 Hunyuan3D 2.0 的 ComfyUI 重打包模型文件,包含 hunyuan3d-dit-v2、v2-mv 及 v2-mv-turbo 三个 fp16 safetensors 权重,并配套提供图生 3D 与多视图生 3D 的 ComfyUI 工作流模板。该仓库基于腾讯 Hunyuan3D
llama.cpp 发布 b11938 版本,新增对 LiquidAI/LFM3-1.7B 和 LiquidAI/LFM3-VL-2B 两个模型的支持,由 Hugging Face 的 Sigbjørn Skjæret 与 Xuan-Son Nguyen 等贡献。改动包括为 LFM3 启用循环状态回滚、设置测试模型的 SWA rope base、在量化时保持
Google DeepMind 发布 Genie 4 交互式世界模型,可逐帧实时计算环境,并首次直接生成匹配的背景音效与角色对话;Gemini 模型在后台规划多步任务并持续调整模拟世界。该模型仍为实验性研究预览,长时程一致性与复杂物理存在局限,目前仅限部分测试者,后续将向 Google AI Ultra 订阅者开放。DeepMind 认为成熟后的世界模型可作
另有 2 家信源报道
OpenAI 推出新模型 GPT-6.1 Terra,主打视觉推理、电脑操作和更自然的写作能力,标准 API 价格为每百万输入 token 1 美元、每百万输出 token 5 美元,较 GPT-5.6 Terra 和 GPT-6.1 Sol 低 50%。在 Agents' Last Exam 电脑操作基准上,其中等推理强度得分较 GPT-5.6 Terra
另有 3 家信源报道
Property Finder 的工程团队发现,其视觉 AI 评估数据集中 96.8% 的标签直接来自现有模型的预测,而非人工核验,导致评估结果系统性偏向旧模型,任何替代方案都显得表现不佳。他们与 AWS Generative AI Innovation Center 合作,由领域专家重新独立标注 356 张阿联酋房产图片,将单标签分类改为多标签分类,并采用
Google DeepMind 发布世界模型 Genie 4 研究预览版,新增实时音频生成、更逼真的画面和可在模拟中实时修改场景的交互能力,场景一致性维持时间提升至两分钟。Gemini 与 Genie 4 深度集成,可规划步骤并检查画面,并在 Gemini Robotics 实验中模拟机器人任务。该模型将面向 Google AI Ultra 订阅者和 Gem
另有 2 家信源报道