返回主题地图

数据与训练

技术方向 · 训练侧的门道:数据集构建、合成数据、预训练与后训练方法 · 共 927 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

11月7日周六 · 5 条
正文结构化主题已通过公开置信门槛
THE DECODER研究

Nous Research 微调 Qwen 去除宣传内容,宣传率从 22% 降至 0.9%

Nous Research 对阿里巴巴的 Qwen3.8-27B 进行监督微调,使用约 5300 万 token 训练出 Arete-27B,将模型回答中的中国官方宣传比例从 22% 降至 0.9%,同时基本保持通用能力。团队用 803 条提示词、以 Grok 4.7 作为评判模型构建测试,称中国开源模型的政治倾向只是可被剥离的"薄层"。该模型的权重、测试集

正文结构化主题已通过公开置信门槛
量子位观点

Jeff Dean李飞飞对谈:RSI存在物理极限,新公司Discovery Loop曝光

在斯坦福HAI与李飞飞的对谈中,Jeff Dean介绍了其新公司Discovery Loop,该公司定位为公益公司,已有约20个自动改进循环在运行,目标是让领域专家生产力提高20到50倍。Jeff Dean认为递归自我改进(RSI)存在物理极限,训练、计算、评估等步骤仍需时间,不可能无限加速。他还回顾了自己在编程能力和神经网络结构演进上的判断偏差,并谈及AI

正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源研究1

Hugging Face 发布 harness adapters:用安全 RL 高效开发 agent

Hugging Face 博客发布“harness adapters”方法:为每个 agent harness(pi、opencode、hermes)单独训练小型 LoRA 适配器,基于同一基础模型,用强化学习在可验证任务上训练,并在工具调用前由 safeagents 代理做规则检查以阻止 reward hacking。实验显示适配器在留出评测任务上工具调用

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源1

Moss Asian Character:面向日系角色的 MOSS LoRA 发布

开发者 fidel1234 在 Hugging Face 发布开源 LoRA 模型 Moss Asian Character,基于 OpenMOSS-Team 的 MOSS-Image-Base 训练,主要面向日系角色生成,采用 MIT 许可证并兼容 ComfyUI。模型使用 AI-Toolkit 在精选数据集上训练,覆盖特写、中景、全身及多角度构图,并附带

正文结构化主题已通过公开置信门槛
智东西模型发布

前OpenAI CTO推Inkling 2 Small模型,估值冲刺400亿美元

前OpenAI CTO米拉·穆拉蒂创办的Thinking Machines Lab发布通用多模态模型Inkling 2 Small,采用MoE架构(总参数5940亿、每Token激活170亿),重点提升定制训练能力,计划下周以Apache 2.0开放权重。该模型在Artificial Analysis智能指数获31分(前代13分),开放权重后将成为中国以外得

11月6日周五 · 15 条
正文结构化主题已通过公开置信门槛
THE DECODER观点

AGI 临近为何人才出走?新实验室的六类研究赌注

THE DECODER 的 Frontier Radar 第 5 期聚焦所谓 neolabs:一批由 OpenAI、Google DeepMind、Meta 等大实验室核心研究者出走创办的研究型 AI 公司。文章梳理了 45 家此类实验室,并按六类研究赌注对其中 27 家做了详细分析。这些创始人押注当前“更大语言模型 + 互联网数据 + 强化学习”的路线不足

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布1

hendrimardani 上传基于 Llama-3.1-8B 的 GRPO 微调模型

开发者 hendrimardani 在 Hugging Face 上传了一个基于 unsloth/Llama-3.1-8B-unsloth-bnb-4bit 微调的 Llama 模型,采用 Apache-2.0 许可,并使用 Unsloth 与 Hugging Face TRL 库训练,宣称训练速度提升 2 倍。该模型标注支持文本生成推理,但正文未提供评测结

正文结构化主题已通过公开置信门槛
TechCrunch AI商业

Physicl 融资 1000 万美元,用高保真 3D 仿真数据训练机器人

Physicl 完成由 Inovia Capital 领投的 1000 万美元种子轮融资,将前公司 nfinite 用于电商 3D 商品渲染的技术栈,重新用于为世界模型设计者和机器人公司生成高保真物理仿真数据。公司同时发布 Studio 产品,包含 1 万个 3D 环境和 10 万个资产,用于针对困难边缘场景生成合成训练数据。世界模型公司 SpAItial

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布1

Ruach Studio 发布 YuE2-3B 公开微调模型 YuE2-RS

Ruach Studio 在 Hugging Face 发布了基于 m-a-p/YuE2-3B 的公开微调模型 YuE2-RS,包含 First Wave 与 Tsunami Wave 两轮训练成果,使用约 3.2 万首曲目、约 1800 小时数据在三张 RTX 3090 上训练,并以 GGUF 和 BF16 safetensors 形式发布合并权重。Tsu

正文结构化主题已通过公开置信门槛
Latent Space模型发布

Thinking Machines 发布 Inkling 2 Small:594B MoE 模型,68 小时完成预训练

Thinking Machines 发布 Inkling 2 Small,这是一个总参数 594B、激活参数 17B 的多模态 MoE 模型,在 GB300 上以原生 NVFP4 精度用 68 小时完成预训练,主预训练阶段消耗 8.4T tokens。模型已在 Tinker 平台上线,Apache 2.0 权重承诺在下周外部安全测试完成后开放。独立评测显示其

正文结构化主题已通过公开置信门槛
MIT Technology Review AI产品发布

我让人形机器人打扫公寓:Tau 远程操控清洁服务体验

MIT Technology Review 记者体验了旧金山初创公司 Tau Robotics 提供的人形机器人上门清洁服务,目前机器人仍由人类远程操控,通过头腕摄像头采集数据用于训练自主清洁模型。Tau 以低于市场预期的价格收费(曾为每小时 30 美元,现为每周两次 60 美元或单次 100 美元),因为清洁过程产生的数据对公司极具价值。体验显示机器人能完

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

Harness-S:从兄弟 Harness 学习可泛化 Agent 训练

该论文提出 Harness-S,一种选择性 harness 救援训练方法:当基础执行系统下的强化学习 rollout 全部失败时,调用由方向性 harness 演化构建的兄弟 harness 池生成新轨迹来替换失败组,并通过自适应 harness 路由器选择 Top-k 变体。在 AppWorld、SWE-Gym 和 DBBench 上,训练后的策略回到原始

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

FlexFloor:弹性专家并行实现资源高效的强化学习后训练

清华大学的研究者提出 FlexFloor 系统,用于解决 MoE 模型强化学习后训练中响应生成阶段的资源浪费问题:部分 worker 完成自身响应后,因其他 worker 仍在处理长响应而必须继续占用专家资源。FlexFloor 通过联合调整响应调度与活跃 worker 组,在保持专家可用性的前提下逐步释放已完成 worker。相比 verl 基线,其单位占

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

基于时间中和决策树的鲁棒数据流分类

该论文提出 Time Neutralising Trees(TNT)决策树架构,用于概念漂移下的鲁棒数据流分类。TNT 在训练时通过时间分裂判断过滤掉与当前流上下文不再相关的旧样本,并在其重新相关时将其重新纳入,从而无需显式漂移检测器即可自适应概念漂移。作者在 USP DS 仓库的 24 个真实与半真实数据流上评估,结果显示 TNT 在多种漂移类型下取得同类

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

用可训练前缀令牌减少检索嵌入中的表示干扰

该论文提出一种在嵌入模型训练时于输入前添加可训练[DUMP]前缀令牌的方法,在不改变模型架构、池化策略和对比检索损失的前提下,减少注意力汇等残差令牌级信息对检索嵌入的干扰。在六个嵌入模型上的实验显示,标准检索基准平均相对提升2.46%,长上下文检索场景提升2.41%。分析表明前缀令牌改变了低信息令牌的注意力模式,是一种轻量即插即用的检索表示改进方案。

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

Octopus:面向潜在 KV 多智能体强化学习的分支执行框架

该论文提出 Octopus,一个将服务运行时、GPU 内存管理与强化学习框架协同设计的系统,把智能体执行过程建模为 GPU 常驻的 DAG,通过 fork、rewind、read thread、wait、done 五个原语在不可变 radix 游标上协调多智能体。它仅在 full-attention 层拼接兄弟 KV 页、循环层跳过挂载区间,将离任务劫持从

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

竞争流匹配扩展质量-覆盖度前沿

该论文提出 Competitive Flow Matching 方法,通过在训练中引入低维高斯辅助条件码,让模型对同一噪声状态生成 K 个候选速度预测,并仅对最匹配的候选施加损失(赢家通吃),从而缓解流匹配生成器在质量与覆盖度之间的权衡。在 ImageNet-256 上,该方法以不到原始 SiT 预训练 3% 的计算量进行后训练,在 67% Recall 点

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

ifmylove2011 发布基于 Krea-2 的人物 LoRA 测试模型

Hugging Face 用户 ifmylove2011 发布了一个基于 krea/Krea-2-Raw 与 Krea-2-Turbo 训练的人物 LoKR/LoRA 模型 girlslike-krea2,采用全秩 LoKR 方案,可在 raw 与 turbo 两个基座模型上使用,推荐强度 0.8 1.5。作者说明该模型仅用于测试,中近景相似度尚可而远景效果

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

CCORE 发布基于 Qwen3.5-4B 的 3D 资产代码模型

CCORE 基于 Qwen/Qwen3.5-4B 微调发布专用 4B 代码模型 CCORE GLB-3D-Coder,可将文本提示生成完整的 Three.js HTML/JavaScript 页面,并支持导出 GLB 资产用于 Godot 等编辑器。该模型以 Apache 2.0 许可发布,提供 Q4 K M、Q8 0 及原始 Safetensors 权重,

正文结构化主题已通过公开置信门槛
智东西模型发布

前华为盘古负责人王云鹤创业公司发布1250亿参数智能体大模型

前华为盘古大模型负责人王云鹤创立的基元律动发布面向智能体任务的NeoHorse-1.5-Flash Preview并开放内测,该模型基于Qwen3.8-Flash经递归自我改进迭代,主参数1250亿、激活参数60亿。评测显示其在Agents' Last Exam上由41.20分提升至50.43分(约22.4%),自然语言生成代码仓库评测由44.24分提升至5