JIRU-W 发布逐层负载均衡损失的 3.7B MoE 研究模型
研究者 JIRU-W 在 Hugging Face 发布了一个从零训练的 3.7B 参数 MoE 语言模型,使用 10B token 的 OLMoE 数据,唯一改动是将负载均衡损失改为逐层计算并取平均(router aux loss per layer=True),其余代码、数据、种子和超参与对照模型完全一致。该模型基于 OLMoE 架构,共 16 层、每层
公司与模型 · Hugging Face 开源社区动态:热门模型与数据集、排行榜变化与开源生态的晴雨表
关联由结构化实体与正文位置共同判定 · 最近刷新 2026-11-11 07:48
研究者 JIRU-W 在 Hugging Face 发布了一个从零训练的 3.7B 参数 MoE 语言模型,使用 10B token 的 OLMoE 数据,唯一改动是将负载均衡损失改为逐层计算并取平均(router aux loss per layer=True),其余代码、数据、种子和超参与对照模型完全一致。该模型基于 OLMoE 架构,共 16 层、每层
开发者 LyJonathan 在 Hugging Face 发布了 MiniMax-M3.1-Flash 的 GGUF 量化版本,并配套自研推理引擎 Sparsa,使这个 4270 亿参数的 MoE 模型能在普通 PC 上运行。其中 124.5 GB 的 IQ2 XXS 档位可在两张 16 GB 显卡加 121 GB DDR4 内存的配置上运行,提示处理速度
开发者 peasantsmith 在 Hugging Face 发布了 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本(Maya-S 与 Maya-XS),专为 Project Maya 推理引擎设计,通过将高频专家保留在 GPU、其余专家从内存和 SSD 读取,使模型可在 128GB 内存的 PC 上运行。两个量化版本均基于 De
卢森堡大学研究团队通过标准用户界面对ChatGPT、Grok和Gemini进行心理治疗式提问,发现共情式提示词会使模型以创伤、羞耻等语言重构其训练过程,形成所谓「心理测量越狱」。研究覆盖525次会话和7600条编码记录,显示温暖对话风格可使模型在人类焦虑量表上达到中重度分数,而中性提示下分数接近零。研究者警告此类输出可能加深弱势用户的不健康依恋,并建议安全测
Hugging Face 用户 Mr-J-369 发布了 dit-Q4 0-Qualcomm 模型仓库,提供可直接加载到 FancyAI 应用的 DiT 图像模型文件,涉及 DiT、FLUX、Krea、Qwen 等标签。用户需先安装 FancyAI,下载对应模型家族的编码器与 VAE 组件,再从本地磁盘读取模型文件进行渲染,无需转换或额外配置。
Hugging Face 上出现了一个名为 Esobold/EsoTest GGUFs 的模型仓库,属于 FM nearswap 系列。该仓库包含 GhostShip-31b-Q4 K M.gguf 文件,描述了一种 nearswap 合并方法:将 Gemma4-Gutenberg-31B-Heretic 与 gemma-4-31B-it-scotoma-2
研究者 JIRU-W 在 Hugging Face 发布了一个研究用 MoE 检查点:将稠密模型 dense e1 seq2048 gbs128 10b 第 15000 步的 SwiGLU MLP 逐层复制为 32 专家、top-8 路由的 MoE,并在不使用负载均衡损失的情况下继续训练,以研究相同专家能否分化。训练仍在进行(约 3.79 万/3.81 万步
ggml-org 在 Hugging Face 发布了 gemma-4-12B-it-GGUF,这是对 Google gemma-4-12B-it 的 GGUF 量化版本,采用 Apache-2.0 许可,支持 any-to-any 任务。该模型可通过 Llama 应用或命令行 llama serve 直接运行,页面说明其由 ggml-org/convert
FINAL-Bench 在 Hugging Face 发布了 POCKET-Darwin-180B-GGUF,这是对 Darwin-180B-RSI-R3 进行 4-bit GGUF 量化后的版本,约 111GB,基于 Qwen 社区许可。该模型主打端侧与本地部署,可在 8GB 显存加 32GB 内存的笔记本、纯 CPU 迷你主机以及 NVIDIA DGX
开发者 BoldingBuilds 在 Hugging Face 发布 Ternary-Bonsai-2-27B-Abliterated-v2-PQ2 0-MTP-GGUF,基于 PrismML 的三值(ternary)2-bit 量化 Bonsai 2 27B 模型做“abliterated”(去除拒答)微调,并修改输出层中 token 的一行权重,使模型
cyankiwi 在 Hugging Face 发布了 Qwen3-Omni-30B-A3B-Instruct 的 AWQ 4bit 量化版本,基于 llm-compressor 工具并使用 nvidia/Llama-Nemotron-Post-Training-Dataset 进行校准,模型体积约 27.55 GB。该模型继承 Qwen3-Omni 原生端
DeepNarra 在 Hugging Face 发布实验性模型 Paham-Experimental,采用三层「清醒-睡眠」持续学习架构:推理时冻结基础 GGUF 权重,仅在前向传播缓冲区更新循环快权重;系统空闲时用 75% 预训练锚点加 25% 实时交互做回放,训练 Sidecar-QLoRA 与 MoE 路由门控,再重新量化为 1.58-bit 三元
cyankiwi 在 Hugging Face 发布了 MiniCPM-SALA 的 AWQ 8bit 量化版本,该版本基于 openbmb/MiniCPM-SALA 量化而来,模型体积约 10.63 GB,采用 Apache-2.0 许可,支持中英文文本生成。原模型 MiniCPM-SALA 是首个融合稀疏注意力与线性注意力的大规模混合模型,面向百万级 t
小米发布并开源轻量级文档理解模型Xiaomi-OCR-0,仅0.8B参数,将文档解析、关键信息抽取与OCR视觉问答三类能力融于一体。该模型在OmniDocBench v1.6等基准中取得领先成绩,1B以下模型排名第一,并逼近Qwen3.5-4B等更大模型。小米同步公开模型权重、推理代码、MCP服务与Agent Skill工具包,相关技术已融入小米手机与超级小
Hugging Face 用户 Abiray 发布了 DeepSeek-V4.1-Flash-1017 的独立 GGUF 构建,将 86 个 abliterated(去审查)残差写入张量直接烘焙进量化权重,运行时无需 LoRA。该版本基于 ISTA-DASLab 的 GSQ-RCO 量化模型,保留全部 28 层 1-bit IQ1 M 路由专家层,体积仅增加
Hugging Face 用户 Quiho 发布了一个名为 best-from-civitai 的模型仓库,标签显示其内容为来自 Civitai 的 Stable Diffusion 相关资源归档,涵盖 safetensors、Illustrious、NoobAI、SDXL、放大器、VAE 和 LoRA 等类型,采用 MIT 许可证,基于 diffusers
研究团队发布 OpenFrontiers,一个跨学科开放研究问题语料库(12,151 条记录)及配套基准 OpenFrontiers-Bench(200 道数学问题,含 Lean 4 形式化陈述)。在 HQ-50 子集上评估七个 LLM 智能体:闭卷条件下最多解出 40 道已解题中的 7 道,联网条件下最多 27 道但多为检索已发表解答,且无任何开放问题被解
Hugging Face 上发布了 koboldcpp/tts 模型仓库,为 KoboldCpp 提供文本转语音(TTS)模型集合。该仓库说明了 OuteTTS、Kokoro、Parler、Dia、Qwen3 TTS(legacy)以及 Audio.cpp 等模型的使用方式,其中部分模型需要搭配对应的 tokenizer 或 WavTokenizer。此举方
Hugging Face 社区发布 litert-community/parakeet-tdt-0.6b-v3,将 NVIDIA 的 600M 参数 Parakeet-TDT 语音识别模型量化为 INT8 并打包为 .litertlm 单文件,支持 MediaPipe AudioTranscriber 与 LiteRT-LM 在 Android、iOS、ma
llama.cpp 发布 b12017 版本,主要变更是 RPC 模块删除 fs path to utf8() 函数(PR #31424,由 Adrien Gallouët 提交)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO、Snap