GigaChat 发布 3B 双向嵌入模型 Giga-Embeddings-instruct-3B-0826
原标题：ai-sage/Giga-Embeddings-instruct-3B-0826
AI 摘要
Hugging Face 上发布了 GigaChat 系列的新文本嵌入模型 Giga-Embeddings-instruct-3B-0826，基于 Qwen3 架构（36 层、hidden 2048、约 3B 参数），将自注意力改为双向 encoder 风格，并用 InfoNCE 对比损失训练。模型采用 mean pooling + L2 归一化，支持俄语和英语，在 MTEB rus/eng/code/multilingual 上均优于旧版 3B 模型，但吞吐量约为 10B-A1.8B 版本的 0.8 倍。
正文节选
--- license: mit language: - ru - en pipeline_tag: sentence-similarity tags: - sentence-transformers - feature-extraction - sentence-similarity - transformers - embeddings library_name: sentence-transformers --- ## GigaChat 3B Bidirectional Embedding Model - Базовая LLM: собственная предобученная модель с архитектурой Qwen3 (36 слоёв, hidden 2048, 16 attention-голов / 8 KV-голов, head_dim 128), self-attention сделан **двунаправленным** (encoder-style) - Тип пулинга: Mean pooling (усреднение