返回全部动态

llama.cpp b11388:imatrix 支持基于激活的统计计算

原标题:b11388

llama.cpp Releases一手来源开源质量 73

AI 摘要

llama.cpp 发布 b11388 版本,核心变更是为 GGUF 新格式 imatrix 引入基于激活值的统计计算(PR #14891)。新增 --activation-statistics 参数,支持计算激活熵、余弦相似度、L2 范数及欧氏-余弦分数(ECS),并更新了聚合统计报告布局。同时该版本提供覆盖 macOS、Linux、Windows、Android 的多后端预编译二进制包。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> imatrix: calculate activation-based statistics for new format (GGUF) imatrices (#14891) * Use activations to calculate the stats * Determine calculation mode * Compute entropy for activations * Compute cosine similarity based on activations * Compute l2 norm * Add compute_layer_statistics() function * Update aggregated statistic report layout * Fix printing l2 norm when calc_mode = 1 * Refactor variable name * Compute aggregated (per layer) l2 norm * Update aggregated sum of squ


发布时间:2026-10-04 18:38
抓取时间:2026-10-04 19:15
来源机构:ggml-org
阅读原文github.com