violetxi 发布 92M Block-MTP 国际象棋文本生成模型
原标题:violetxi/hparam-92m-block-mtp-truncated-peak_lr-1e-3-wu-0p01-s42
AI 摘要
Hugging Face 用户 violetxi 发布了一个 92M 参数的 Block-MTP 模型检查点(step 235000),基于 transformers 库,支持文本生成,标签涉及国际象棋、block-mtp 和截断 BPTT。该模型采用三路循环打分机制,每次生成三个 token 的块,不支持 KV 缓存和束搜索,上下文为 1024 个逻辑 token。发布包含可直接加载的权重、配置、分词器和共享核心实现,并附有训练摘要与校验信息。
正文节选
--- library_name: transformers pipeline_tag: text-generation tags: - chess - block-mtp - truncated-bptt --- # 92M Block-MTP — step 235000 Condition: `92m-blktrunc-lr1e3-wu01-s42`. This branch contains ready-to-load model weights, config, tokenizer and the exact shared-core implementation. Each checkpoint has its own `step-N` branch. Install the packages in `requirements.txt`. ```python import torch from transformers import AutoTokenizer, AutoModelForCausalLM repo = "violetxi/hparam-92m-block-