返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3311 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月15日周四 · 20 条
正文结构化主题已通过公开置信门槛
NVIDIA Generative AI Blog一手来源商业

北欧与英伟达展示区域级先进计算生态进展

英伟达发布博客介绍北欧地区在先进计算领域的进展:北欧正成为欧洲增长最快的基础设施枢纽,预计到2027年底部署约1吉瓦AI云容量。瑞典由爱立信、阿斯利康等组成的财团推出基于NVIDIA DGX SuperPOD的共享超级计算机Sferical One。Spotify、ABB Robotics、Elisa等企业以及Stilta、Klang等初创公司基于英伟达基础

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11636:SYCL 后端 IQ3 权重重排提速

llama.cpp 发布 b11636 版本,为 SYCL 后端新增 IQ3 S 和 IQ3 XXS 权重的持久化重排(reorder)支持,在加载时一次性重排权重,使 MMVQ 点积以稠密超级块方式配合 dp4a 与 SWAR 符号扩展执行,并让重排感知的反量化服务于批量 prefill GEMM。在 Intel Arc Pro B70 上实测,Qwen3

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

JSSA:面向高效长上下文解码的联合子空间稀疏注意力

论文提出 Joint Subspace Sparse Attention(JSSA),一种免训练的长上下文解码稀疏注意力方法。它通过学习共享的低维 query-key 子空间来最小化双线性分数误差,并设计无 gather 的 token 级索引注意力内核,支持 GQA 下每个 KV head 独立选择。在 GQA、混合滑窗/全局注意力和 MLA 模型上,JS

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

VLM为何在远程生理测量上失败?VITAL框架提出生理接地与数值对齐

该论文研究视觉语言模型(VLM)在远程生理测量(RPM)任务上的失败原因,指出两大瓶颈:通用视觉语义表示无法保留细粒度生理线索,以及自回归离散 token 预测与连续数值测量之间的错位。作者提出 VITAL 框架,保留原有语义视觉通路并新增独立生理通路生成 PhysTokens,同时用结构化数值对齐改进心率估计。实验表明 VITAL 在多个 rPPG 数据集

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

扰动预测器是否学到基因互作?诊断agentic筛选中的外推

该研究针对高通量扰动筛选中的组合泛化问题,提出用「加性分歧」(AD)诊断模型对未见基因组合的预测可靠性。作者在 Norman、Joung–Zhang 和 Adamson 三个 Perturb-seq 数据集上比较了八种预测方法,发现专用神经预测器并不稳定优于简单加性基线,且偏离加性基线的预测误差更大。相比 kNN、马氏距离、集成不确定性等通用信号,AD 在组

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

Action Jets:学习动作条件数据流形的局部形状

该论文提出 Action Jet 方法,通过估计动作条件数据流形的局部形状(泰勒多项式)来加速世界模型规划。固定状态后,不同动作对应的图像帧位于低维流形上,Action Jet 用几何编码器一次前向传播输出动作雅可比,并用校正头拟合二阶、三阶项。相比 IRASim 和 WorldGym 等生成器,对 16 个候选动作评分速度提升超过一个数量级,且在短时域预测

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

扩散模型的校正训练:缩小训练-推理差距

该论文针对扩散模型推理时的曝光偏差问题,提出一种校正训练方法:训练一个校正器以基础模型自身的预测为输入,并针对相同真实目标进行训练。在采样时,每个去噪步骤迭代精炼干净样本预测,可显著提升样本质量并保持多样性。方法在DiT、SiT、JiT等架构上验证,FID优于无引导生成,性能与CFG相当,且可通过蒸馏将校正能力回注基础模型,不增加推理开销。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11635:修复 x86 FP16 转 FP32 性能回退

llama.cpp 发布 b11635 版本,修复了 ggml-cpu 在 x86 平台上的 FP16- FP32 转换性能回退问题。此前 #30270 将标量转换统一走 F16C 指令,导致 Clang 20.1.8 下 FP16- FP32 转换被编译为 vpinsrw 并合并进量化点积的累加寄存器,使循环串行化,Q8 0/Q4 0 MUL MAT ID

正文结构化主题已通过公开置信门槛
量子位模型发布

昆仑万维开源 Matrix-Game 4.0:单张 5090 实时跑游戏世界模型

昆仑万维旗下 Skywork AI 发布并开源 Matrix-Game 4.0,号称全球首款可在单张 RTX 5090 消费级显卡上实时运行的游戏世界模型。该模型采用「游戏引擎维护世界状态、视频模型负责画面生成」的分工思路,通过结构草图、动态 Caption、少步自回归蒸馏及 CUDA Graph、FP8 等工程优化,实现按键到画面约 112ms 响应、60

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11633 修复 SET ROWS 多线程缓冲区越界

llama.cpp 发布 b11633 版本,修复了 ggml-cpu 中 SET ROWS 操作的转换缓冲区越界问题:该操作原计划以 n tasks=1 执行,但每个线程都会运行并各自使用 F16 到 F32 转换缓冲区的一行,导致线程号大于 0 的线程在图包含其他多线程算子时写出工作缓冲区之外。修复方式是将 set rows 移入 n task = n

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11632:CUDA/HIP 新增 GDN 分块内核

llama.cpp 发布 b11632 版本,为 CUDA 和 HIP 后端新增 GDN(Gated Delta Net)分块内核,代码移植自 tetherto/qvac-fabric-llm.cpp 的 PR #257。该更新在经 RTX 3090 与 RTX 4090 验证后,为 Ampere(SM86)和 Ada(SM89)架构启用 GDN MMA,未

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论产品发布

华为首款逻辑折叠芯片麒麟9050量产,Mate 90端侧AI能力升级

华为在终端创新技术沟通会上宣布首款采用逻辑折叠技术的麒麟9050系列芯片量产,麒麟9050 Pro通过跨层电路布局和超过5000万混合键合互连缩短关键路径,相比麒麟9030 Pro实现CPU性能提升25%、GPU性能提升40%、NPU算力提升140%。该芯片支持手机端运行30B MoE大模型,新增内存占用不到2.5GB,并配合AI ISP与双层OLED显示实

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11630 修复 ggml conv 1d 批量输入布局错误

llama.cpp 发布 b11630 版本,修复了 ggml 中 conv 1d 在批量输入下的结果布局错误:此前 GEMM 输出实际为 [OL, N, OC],而 reshape 却声明为 [OL, OC, N],导致通道与批次交错且无任何断言触发。修复后统一 reshape 为 [OC, N, OL] 并 permute 还原,所有批次大小构建相同计算

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11627:更新 ggml mul mat id 说明并禁用相关测试

llama.cpp 发布 b11627 版本,主要变更为在 ggml 中为 mul mat id 添加说明注释,并禁用了 mul mat id dup 相关测试(PR #30501)。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,支持 CUDA、Vulkan、ROCm、SY

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
Groq Blog一手来源模型发布

Meta 开源智能体编程模型 Muse Spark Open 登陆 GroqCloud 预览

Meta 发布面向智能体编程的开源权重模型 Muse Spark Open,采用 256 专家的混合专家架构,总参数 816B、每 token 激活 42B,支持 131,072 token 上下文和文本、图像输入。该模型在发布当天即上线 GroqCloud 有限预览,单用户推理速度超过 350 tokens/秒。Groq 表示其平台已有超 600 万开发者

正文结构化主题已通过公开置信门槛
Apple Machine Learning Research一手来源研究

Apple 用 MLX 与 RDMA 在 Mac Studio 上实现本地及分布式大模型推理

Apple ML Research 发布博客,介绍在 Mac Studio 上使用最新版 MLX 框架进行本地与分布式大模型推理。单机可运行 Qwen 3.8(27B)和 Mistral Medium 3.5(128B),四台 Mac Studio 集群通过 Thunderbolt 5 上的 RDMA 驱动和 MLX 的 jaccl 通信原语,以流水线并行方

正文结构化主题已通过公开置信门槛
Mistral AI News一手来源模型发布

Mistral 发布 Timestral 时间序列基础模型系列

Mistral AI 发布首个时间序列基础模型系列 Timestral,最大模型仅 209M 参数,却在 GIFT-Eval、TIME 和 fev-bench 三个主要公开基准上排名第一,超越参数量更大的模型。该系列包含 5M、28M、123M、209M 四个尺寸,支持概率化多变量预测及过去/未来协变量,无需 GPU 即可在 CPU 上高效推理。模型结合合成

正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源模型发布

Lumma-Fev-27B 决策模型发布,准确率超越 TypeSafe Jev

Hugging Face Blog 发布 Lumma-Fev-27B,这是 Lumma-Fev 决策模型家族中最大的新成员,基于 Qwen3.8-27B 全权重训练约 10 万条决策样本,支持英语及印地语、泰米尔语、卡纳达语。在 4,454 条留出决策上准确率达 90.7%,高于 TypeSafe Jev 的 83.9%,校准误差也更低(0.009 对 0.

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11623:AMD 上改用 SIMT 隐式 GEMM conv2d

llama.cpp 发布 b11623 版本,主要变更是 CUDA 后端在 AMD GPU 上使用 SIMT 隐式 GEMM 实现 conv2d,不再依赖 WMMA,并在短归约场景下跳过该 SIMT 路径。该改动由社区贡献者提交,Claude Opus 提供辅助。版本同时提供 macOS、Linux、Windows、Android 等多平台预编译包。

正文结构化主题已通过公开置信门槛
Ollama Releases一手来源开源

Ollama 发布 v0.40.5:MLX 内核移植 CUDA 并改进工具调用

Ollama 发布 v0.40.5 版本,主要更新包括将 MLX 的 Metal 自定义内核移植到 CUDA、在 OpenAI 兼容的 Responses 历史中支持自定义工具调用、更新模型推荐与语言标准化文档、优化云支付错误提示,并升级 MLX 版本。该版本为常规迭代更新,提升了跨平台推理与 OpenAI 接口兼容性。