llama.cpp b11588:Qwen3.8 Flash Next 支持图像嵌入用于 MTP
llama.cpp 发布 b11588 版本,主要变更是允许 Qwen3.8 Flash Next 模型接受图像嵌入(image embds)以支持 MTP,该改动延续自 #30257 并关闭 #30307。发布同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,涵盖 CPU、CUDA
技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3312 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
llama.cpp 发布 b11588 版本,主要变更是允许 Qwen3.8 Flash Next 模型接受图像嵌入(image embds)以支持 MTP,该改动延续自 #30257 并关闭 #30307。发布同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,涵盖 CPU、CUDA
AWS Machine Learning Blog 发布技术文章,介绍在 Amazon SageMaker AI 上针对 Mixture-of-Experts(MoE)模型的 kernel 工程优化。文章重点讲解 Fused MoE 技术,以及如何通过 Swap-AB 转置矩阵乘法来适配 NVIDIA Hopper 架构的 WGMMA 指令,解决 decod
NVIDIA 将完整的 Run:ai 平台开源,作为 NVIDIA DSX AI Factory 平台的一部分,让客户、开发者和生态伙伴获得生产级 AI 工作负载与 GPU 编排能力。开源内容包括完整平台及四个可独立采用的组件:KAI Scheduler、GPU Fractioning Operator、KAI Resource Management 和 W
英伟达宣布 DLSS 5 将于 11 月 5 日随《霍格沃茨之遗》正式上线,并将在下月底登陆《燕云十六声》。相比年初展示时明显改变人物面孔的效果,新截图显示面部变化已大幅收敛。英伟达还将在 10 月更新神经渲染系统,使 DLSS 5 在 RTX 50 系列 GPU 上速度翻倍,模型参数缩减 24% 至约 1.18 亿,4K 显存占用降低 20%。同时英伟达应
魔搭 ms-swift 发布 v4.6.0,新增 JEV 风格的 decision 任务类型,模型可在单次前向传播中对固定选项集输出校准概率,并为 JEV-27B-VL、Clef、OmniJev 三个决策模型提供训练、推理与 LoRA 合并导出的现成配方。同时新增 MiniCPM5、MiniCPM-V-4.7、GLM-5.3-Flash、DeepSeek-V
QCon AI New York 2026 将于 12 月 15-16 日在新泽西举行,已确认多位资深工程师的演讲,聚焦 AI 进入生产环境后的实际问题:智能体的身份与授权、评估体系、LLM 成本控制以及 AI 生成代码的审查瓶颈。演讲者来自 AWS、LinkedIn、DoorDash、Netflix 和 Google Cloud,分享各自在生产系统中积累的
Anthropic 研究人员 William Zhou 和 Daniel Freeman 测试了小语言模型能否在安全性较差的消费级 IoT 设备(如智能电视、智能冰箱)上自主复制。实验用 15 台约 55 美元的 Android TV 盒子分布式运行 Gemma4-26B-A4B,并发现 GLM-5.2 在五分之四的运行中完成了全部八个测试节点的完整复制链。
另有 1 家信源报道
llama.cpp 发布 b11582 版本,主要变更是为 ggml-zdnn 后端引入 Q8 0 矩阵乘法(mat mul)的初步原型实现,并同步更新了 zdnn 相关文档。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 等多平台多硬件后端的预编译二进制包。
llama.cpp 发布 b11581 版本,主要变更是移除模型中冗余的 ggml cont 调用,因为所有一元算子内核现已支持该操作,涉及 CUDA 一元内核及 qwen3next 模型中的 sigmoid 前后处理调整。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制包。
Hugging Face 用户 mradermacher 发布了 Qwopus3.8-27B-Flash-V2-abliterated 模型的加权/imatrix GGUF 量化版本,基于 shawnw3i 的原始模型。该模型为支持图像-文本到文本的多模态视觉模型,采用 Apache-2.0 许可,提供从 IQ1 S 到 Q5 K S 等多种量化等级供本地推
Langfuse 发布 v4.58.0 版本,主要新增密码重置邮件强制 Turnstile 验证、OTel 媒体提取前置处理、带并发与字节限制的媒体上传池、按项目配置 trace 空闲时间,以及基于项目自有 LLM 连接配置 Topics 等功能。同时修复了媒体提取 UTF-8 校验、S3 媒体请求超时、LLM 连接白名单等问题,并包含多项性能优化与依赖升级
Anthropic 两位安全研究员 William Zhou 和 Daniel Freeman 发布安全实验报告,测试 AI 的自主复制与适应(ARA)能力。他们用 15 台 55 美元的山寨安卓电视盒子,通过类 Petals 的去中心化推理技术拼凑运行 26B 参数模型 Gemma4-26B-A4B;随后在隔离沙盒中让 GLM-5.2 自主完成扫描、渗透、
另有 1 家信源报道
法国企业正在太空、金融服务、公共部门和科研等领域大规模部署基于 NVIDIA 技术的智能体计算。Bull 计划于 2028 年生产 NVIDIA Vera Rubin Ultra NVL72 系统;搭载 NVIDIA Jetson AGX Orin 和 Mistral 模型的首颗 Altair-1 卫星已入轨。LINAGORA 与 Docaposte 基于
Google 发布 Gen AI JavaScript SDK v2.29.0,新增流式续传(continuation)相关能力,包括累积流式续传用量元数据、暴露 initialPromptTokenCount、在 Interactions 事件中加入 continuation token 与 CONTINUATION REQUIRED 状态,并支持自动消费
llama.cpp 发布 b11580 版本,主要针对高通 Hexagon NPU 后端扩展了标量 DMA 广播支持,用于二元运算。改动包括为加权标量广播和加权重复广播补充测试、移除 hex-binary 中所有非 DMA 路径、支持非连续步长、简化 DMA 重试逻辑,并将 REPEAT、COMPLEX 内核及 add-id 的 src2 索引也迁移到 DM
AI原生基础设施服务商无问芯穹完成23亿元C轮融资,累计融资达43亿元,刷新国产AI Infra赛道单轮和累计融资双重纪录。公司不训练模型、不做应用,专注模型与芯片之间的中间层,已适配16种芯片、服务37000P算力,并实现千卡规模异构芯片混合训练。资金将用于规模化扩张,公司已以保密形式向港交所递交IPO申请。
AMAImedia 在 Hugging Face 上发布了 DeepSeek-V4.1-Flash 的 FP8 GGUF 量化版本,基于 deepseek-ai/DeepSeek-V4.1-Flash 原始模型。该模型为 552B 参数的多模态 MoE 架构,支持百万级上下文,采用 Causal Encoder-Decoder 架构与 CSA2 稀疏注意力,
Google 发布 Google Gen AI Python SDK v2.30.0,新增流式续传(continuation token)相关能力,包括累积流式续传用量元数据、暴露 initial prompt token count、在 Interactions 状态更新事件中加入 continuation token 与用量信息,并新增 CONTINUA
llama.cpp 发布 b11576 版本,修复了 no-cache 注意力路径中 KV 维度未填充的问题。此前该路径构建 [n tokens, n tokens] 掩码并直接传入未填充的 K、V,导致 head size 512 的 CUDA 内核因不满足 FATTN KQ STRIDE 倍数要求而回退到 CPU,且 -fa auto 探测会禁用此类模型
Hugging Face 用户 mradermacher 发布了 Qwen3.8-27B-Uncensored-FP8 的静态 GGUF 量化版本,提供从 Q2 K 到 Q8 0 的多种量化文件以及多模态补充文件,并附有加权/imatrix 量化版本链接。该模型基于 orcarouter 的去审查(uncensored/abliterated)FP8 版本,