返回全部动态

llama.cpp b10330 发布:CUDA 融合 rms_norm 与 rope 操作

原标题:b10330

llama.cpp Releases一手来源产品发布质量 72

AI 摘要

llama.cpp 发布 b10330 版本,主要更新是在 CUDA 后端中融合了 rms_norm、mul 和 rope 操作,并添加了相关测试和内存范围检查。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> CUDA: fuse rms_norm + mul + rope (+ view + set_rows) (#26767) * CUDA: fuse rms_norm + mul + rope (+ view + set_rows) * tests: add broadcast weight case to rms_norm_mul_rope * CUDA: check memory ranges before rms_norm rope fusion * CUDA: check memory ranges in rope set_rows fusion </details> **Website:** - <https://llama.app> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b10330/llama-b10330-bin-macos-arm64.tar.gz) - m


发布时间:2026-08-09 01:20
抓取时间:2026-08-09 01:21
来源机构:ggml-org
阅读原文github.com