Hugging Face

微型语言模型极端过训练实验：性能在峰值后显著下降

Hugging Face 博客发布了一项关于微型语言模型（0.9M参数）极端过训练的实验结果。实验将训练数据量推高至每参数约222K tokens，发现模型在20B tokens时达到最佳性能（INT Index 4.55），之后继续训练至180B tokens时性能下降27.3%。实验表明，对于约1M参数的模型，每参数20K-30K tokens是有效范围

超越聚合分数：GWHD 小麦穗检测模型库的按国家领域偏移分析

Hugging Face 博客发布了对 9 个小麦穗检测模型（YOLOv8、YOLOv11、YOLOv26、RF-DETR）在 GWHD 2021 数据集上的按国家分层评估结果。所有模型在中国子集上表现最佳，而多数 YOLO 模型在美国子集上表现最差，RF-DETR 则在澳大利亚表现最差，表明聚合分数掩盖了显著的领域偏移。该分析基于自建的 per-image

2026年前沿模型如何基于结果进行训练

本文是Hugging Face博客关于2026年前沿模型训练方式的补充材料，梳理了OpenAI、DeepSeek、Meta等实验室在强化学习（RL）后训练中的公开做法。文章指出，可验证奖励（RLVR）已成为主流，GRPO算法被广泛采用但多有修改，且RL正从单答案转向环境交互。作者通过引用各实验室报告，展示了这些模式如何贯穿从7B模型到前沿系统的训练流程。

FP8 KV-Cache 在 Intel Arc Pro B70 上实现 2 倍容量与长上下文吞吐增益

Hugging Face 博客评估了 Intel Arc Pro B70 上 FP8 KV-cache 量化在 vLLM 中的表现，显示相比 BF16，FP8 KV 在所有测试模型上实现了确定性 2 倍 KV 缓存容量提升，并在长上下文（16K-32K）场景下带来最高 42.3% 的吞吐量增益。FP8 KV 在 10 个模型中的 8 个上接近无损，但 Dee

VibeLifeBench：评估生活代理在动态世界中的主动性与持久性

Hugging Face 发布新基准 VibeLifeBench，用于评估长期主动型生活代理，包含 200 个跨 10 个日常领域的多周任务，模拟 22 个模拟服务和 288 个工具。评估发现七个前沿模型表现均不佳，最佳模型 Claude Opus 5 平均得分仅 32.5，且所有模型在时间线推进中性能下降 10-15 分。该基准强调代理需主动发现静默变化并

ALTK-Evolve 对比 ACE：按需检索降低推理成本并提升准确率

Hugging Face 博客介绍了 ALTK-Evolve 与 ACE 两种智能体记忆系统，均通过将智能体历史轨迹转化为可复用经验并在推理时注入，避免压缩经验。ALTK-Evolve 采用按需检索少量指南的方式，而 ACE 每步注入完整手册。在 AppWorld 基准上，ALTK-Evolve 在 DeepSeek-V3.2 上准确率更高且 token 消

可解释语言模型的规模化：Steerling-8B 实现训练内可解释性

Hugging Face 发布了一篇技术报告，提出将可解释性作为训练约束而非事后解释的方法。实验表明，在自回归和扩散语言模型中，可解释性随规模提升而增强。他们发布了 Steerling-8B 模型，该模型能归因输出到输入 token、概念和训练数据，支持闭环干预，且性能可与使用 2-16 倍计算量训练的模型竞争。

Sci-VBench：评估科学领域知识推理视频生成的新基准

Hugging Face 发布了 Sci-VBench，一个用于评估科学领域视频生成的基准，包含 1253 个专家标注示例，覆盖自然科学、医疗、人文社科和工程四个学科。该基准采用基于规则的评估协议，发现非专家和 MLLM 评审与专家判断高度一致。对 16 个前沿模型的评估显示，视觉质量分数接近，但提示遵循和科学因果正确性差异显著，且闭源模型优于开源模型。

SWE-Bench ProMax：多语言大规模代码重构基准

Hugging Face 发布 SWE-Bench ProMax，一个由专家策划的多语言代码重构基准，包含 170 个实例，覆盖七种编程语言。该基准通过重写问题描述和人工审查测试套件，解决了现有基准中测试缺陷和训练数据泄漏的问题。实验显示，前沿模型在两种代理框架下的最佳解决率仅为 41.2%，表明该基准对当前 AI 编码代理构成有意义的挑战。基准已在 Hug

FineBooks项目：开源OCR模型助力历史书籍文本识别，小模型表现惊艳

Hugging Face 与 EleutherAI 合作发起 FineBooks 项目，在超过 2000 页历史书籍上测试了 14 个开源 OCR 模型，发现小模型表现优于大模型，最佳模型字符准确率超 97%，成本低于每千页 2 美元。研究认为这些模型足以用于 AI 训练数据，但尚不适合学术用途。团队计划用顶级模型重新处理约 20 万份 BHL 文档并开放数

FineBooks：开源OCR模型能否解锁历史知识？

Hugging Face 与 EleutherAI 合作推出 FineBooks 项目，旨在评估开源 OCR 模型在处理历史文献上的表现，并重新处理公共领域书籍以提升 AI 训练数据质量。项目发布了包含 14 个模型的 BHL OCR 排行榜、基准数据集和评估工具，基于 2165 页专家转录的历史书籍页面进行测试。初步结果显示，现代 VLM 模型在历史文档上

另有 1 家信源报道

阿拉伯语TTS排行榜方言偏差调查：并非刷榜，而是方言差异

Hugging Face 团队在收到社区关于阿拉伯语 TTS Arena 排行榜与用户体验不符的反馈后展开调查。他们最初怀疑存在刷榜行为，但通过逐条听取投票音频和检查提示词，发现异常投票其实是用户使用海湾方言进行真实评测的结果。进一步分析表明，不同阿拉伯语方言下最佳模型各不相同，单一排行榜掩盖了这种差异。最终，团队保留了所有投票，并为排行榜增加了方言筛选功能

Transformers v5.15.0 发布：新增 Muse Glimmer 等多模型支持

Hugging Face Transformers 发布 v5.15.0 版本，新增多个模型支持，包括 Meta 的 Muse Glimmer（30B 参数多模态模型，专为智能体场景设计，Apache 2.0 许可）、IBM 的 GraniteSWA/GraniteMoeSWA、SKT 的 A.X-K1/K2 和 Cosmos3 Edge。该版本还包含多项破

Hugging Face 提出高效知识蒸馏方法，显存占用大幅降低

Hugging Face 团队发表论文，提出两种系统优化方法：离线缓存教师模型的 Top-K logits，以及融合分块 KL 损失，以大幅降低大语言模型知识蒸馏的显存占用和训练成本。该方法使长上下文蒸馏可在单 GPU 上运行，并支持大规模实验。

0.6B 模型在 MTEB(Law) 排名第二：高效法律嵌入的配方

Hugging Face 博客发布了一篇技术文章，介绍了一个名为 dinghy-law 的 0.6B 参数法律嵌入模型，在 MTEB(Law) 基准上排名第二，超越了更大的模型。文章详细描述了在时间和计算资源有限的情况下，通过 LoRA 微调、基于梯度对齐的硬负样本挖掘、数据读取和权重空间合并等技术，实现了高性能。该模型基于 Qwen3-Embedding-

掌握 Transformer 中的张量维度：解码器架构详解

Hugging Face 博客文章深入解析了 Transformer 模型中张量维度的处理，特别是解码器架构中的矩阵乘法、多头注意力机制和维度变换。文章通过具体示例说明了输入张量如何经过嵌入、注意力、前馈网络等层保持形状不变，并解释了掩码注意力在自回归生成中的作用。该文旨在帮助读者掌握生成式 AI 模型中的张量操作基础。

模型基因组：通过指纹识别LLM是从零训练还是衍生

Hugging Face 博客发布了一篇技术文章，介绍如何通过分析公开的模型配置文件（config.json）、分词器（tokenizer）和权重（embedding CKA）来客观判断一个大型语言模型是从零训练还是基于开源基础模型衍生而来。文章指出，架构指纹和分词器重叠是主要证据，而权重相似性因旋转不变性等原因不可靠。作者将该方法应用于韩国九个组织的公开基

Hugging Face 发布 TutorMoments 框架，评估 AI 辅导的干预时机

Hugging Face 发布了 TutorMoments 框架预览，用于评估大语言模型在辅导学生时能否平衡提供帮助与让学生自主思考。该框架基于真实一对一数学辅导记录，由教师标注关键时刻，并通过模拟会话测试模型表现。研究发现模型倾向于过度帮助，而明确提示权衡可改善表现但仍不及人类教师。团队同时发布了去标识化数据集、代码和回放结果，以促进开放研究。

Hugging Face 发布 Carbon-3B 生成式 DNA 基础模型

Hugging Face 发布了 Carbon-3B，一个 3B 参数的生成式 DNA 基础模型，专注于真核生物，支持 32,768 个 6-mer 令牌（约 197k 碱基对）的上下文，并可扩展至 65,536 令牌。该模型在序列恢复、变异效应预测和基序扰动任务上可与 Evo2-7B 竞争，同时推理速度更快。Carbon 系列还包括 Carbon-8B 和

W2-VLA：任务条件化未来手腕建模实现精细机器人操作

Hugging Face 发布了 W2-VLA 模型，该模型通过任务条件化的未来手腕建模来提升精细机器人操作能力。W2-VLA 利用潜在建模令牌作为视觉语言模型与手腕预测器之间的接口，并引入 W2-CoT 合成管道生成结构化注释以辅助训练。实验表明，在 LIBERO、RoboTwin 2.0 和真实世界任务中，该模型在单臂和双臂场景下均取得了改进，动作生成速