Hugging Face 发布 UltraBERT 编码器系列，兼顾分类与检索
原标题：UltraBERT: One Encoder for Classification and Retrieval
AI 摘要
Hugging Face 发布 UltraBERT 系列英文编码器（150M 和 380M），原生支持 32K 上下文，并推出基于其构建的 UltraBERT-Embed-150M 嵌入模型，全部采用 Apache 2.0 许可。研究通过超过 70 万亿 token 的训练实验发现，编码器在 1-2T token 后性能饱和，且低掩码率利于分类、高掩码率利于检索，UltraBERT 通过混合 5% 和 50% 掩码并各自使用独立 LM head 来同时兼顾两者。380M 模型在 10 个基准中的 9 个取得最高分，包括 GLUE 91.0 和 BEIR 47.7，UltraBERT-Embed-150M 在 MTEB(eng, v2) 上得分 67.24。
正文节选
We're releasing UltraBERT, a family of English encoders (150M and 380M) with a native 32K context, plus UltraBERT-Embed-150M, a ready-to-use embedding model built on top of it. Everything is Apache 2.0 and lives in the UltraBERT collection. - Encoders stop improving after 1–2T tokens, even while the loss keeps going down. More compute alone won't save them. - The masking ratio decides what an encoder is good at. Low masking wins classification, high masking wins retrieval. Every existing encoder