Hugging Face 发布 Carbon-3B 生成式 DNA 基础模型
原标题：HuggingFaceBio/Carbon-3B
AI 摘要
Hugging Face 发布了 Carbon-3B，一个 3B 参数的生成式 DNA 基础模型，专注于真核生物，支持 32,768 个 6-mer 令牌（约 197k 碱基对）的上下文，并可扩展至 65,536 令牌。该模型在序列恢复、变异效应预测和基序扰动任务上可与 Evo2-7B 竞争，同时推理速度更快。Carbon 系列还包括 Carbon-8B 和 Carbon-500M，并采用混合分词器（6-mer 用于 DNA，BPE 用于文本）和交叉熵到因子化核苷酸监督的训练目标。
正文节选
--- library_name: transformers license: apache-2.0 language: - dna tags: - dna - genomic - transformers - biology datasets: - HuggingFaceBio/carbon-pretraining-corpus pipeline_tag: text-generation ---  <p align="center"> <a href="https://huggingface.co/HuggingFaceBio/Carbon-3B/blob/main/tech-report.pdf"><b>Technical Report</b> 🧬</a> </p> # Carbon-3B A generative DNA foundation model from the **Carbon** family. ## Table of Contents 1. [Model Summary](#mode