返回全部动态

llama.cpp b11934:加速测试张量生成与模型保存

原标题:b11934

llama.cpp Releases一手来源开源质量 58

AI 摘要

llama.cpp 发布 b11934 版本,主要优化测试流程:重构 save_models 使其只创建模型而不再创建不需要的 llama_context,并用 splitmix64 + Box-Muller 生成器替代缓慢的 std::normal_distribution 抽样,同时改为共享正态抽样池以加速张量数据生成;此外在每次保存后记录模型文件大小。该改动提升了测试与模型保存效率,并附带 macOS、Linux、Android、Windows 等多平台预编译包。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> tests : speed up tensor data generation and model saving (#31145) * tests : speed up tensor data generation and model saving Refactor save_models to create only the model, not a llama_context, which is not needed for saving. Replace the slow std::normal_distribution draw with a splitmix64 + box-muller normal generator. Assisted-by: dsh:llama.cpp/ggml-org/DeepSeek-V4-Flash-Vision-Exp-GGUF (Mac Studio, M2 Ultra, 192GB) * tests : use a shared pool of normal draws for tensor data


发布时间:2026-10-27 23:50
抓取时间:2026-10-28 00:43
来源机构:ggml-org
阅读原文github.com