返回全部动态

llama.cpp b11472:零温度链改用贪心采样

原标题:b11472

llama.cpp Releases一手来源开源质量 63

AI 摘要

llama.cpp 发布 b11472 版本,主要更新为采样逻辑:对符合条件的零温度(temperature=0)链改用贪心选择(greedy selection),并简化了零温度贪心资格的判定,使 CPU 与语法/推理预算路径均可使用同一贪心选择;动态温度和显式请求概率仍保留分布采样。该改动由 OpenAI Codex 辅助完成,Georgi Gerganov 参与评审。版本同时提供 macOS、Linux、Windows、Android 等多平台预编译包。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> sampling : use greedy selection for eligible temperature-zero chains (#29797) * sampling : use greedy selection for eligible temperature-zero chains Assisted-by: OpenAI Codex * Apply suggestion from @ggerganov Co-authored-by: Georgi Gerganov <ggerganov@gmail.com> * sampling: simplify zero-temperature greedy eligibility Allow the same greedy selection on CPU and grammar/reasoning-budget paths. Keep distribution sampling for dynamic temperature and requested probabilities. Co


发布时间:2026-10-07 21:20
抓取时间:2026-10-07 21:31
来源机构:ggml-org
阅读原文github.com