返回全部动态
llama.cpp b10242 发布:CUDA 后端新增惩罚采样器
原标题:b10242
AI 摘要
llama.cpp 发布 b10242 版本,主要更新为 CUDA 后端新增 penalties sampler 支持,包括频率和存在惩罚的调整,并添加了相应的测试。该版本还提供了多种平台和硬件的二进制文件,如 macOS、Linux、Windows、Android 等。
以上摘要由 AI 生成,可能存在误差。事实请以原文为准。
正文节选
<details open> CUDA: Add backend sampler for penalties sampler (#25262) * sampling: enhance penalty handling in common_sampler_init - Set default value for penalty_last_n based on model context if not specified. - Ensure penalty_last_n and n_prev are non-negative. - Update llama_sampler_penalties structure to inherit from llama_sampler_backend and add backend input handling for penalties. - Implement backend initialization and application logic for penalties, including frequency and presence
发布时间:2026-08-04 01:22
抓取时间:2026-08-04 01:25
来源机构:ggml-org