返回全部动态
llama.cpp b11729：Qwen3 支持双向注意力与 dense_2 输出投影
原标题：b11729
AI 摘要
llama.cpp 发布 b11729 版本，为 Qwen3 模型新增双向注意力（bidirectional attention）与 dense_2 输出投影支持，并在转换脚本 base 中读取 use_bidirectional_attention 配置。该改动由社区贡献者提交、Grok 辅助完成，同时发布覆盖 macOS、Linux、Windows、Android 等多平台与 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端的预编译包。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> qwen3 : bidirectional attention and dense_2 output projection (#30607) * qwen3 : bidirectional attention and dense_2 output projection Assisted-by: Grok * convert : read use_bidirectional_attention in base Assisted-by: Grok * Update conversion/base.py Co-authored-by: Sigbjørn Skjæret <sigbjorn.skjaeret@huggingface.co> --------- Co-authored-by: Sigbjørn Skjæret <sigbjorn.skjaeret@huggingface.co> </details> **Website:** - <https://llama.app> **Attestations:** - <https://
发布时间：2026-10-19 19:24
抓取时间：2026-10-19 19:37
来源机构：ggml-org