超越后继精度:推荐递归自我改进中的状态保留
该论文提出推荐系统递归自我改进(Rec-RSI)中的状态保留问题,指出仅用最新模型评估每轮更新会忽略跨代模型间的互补排序决策。作者定义跨代优势(CGA)来量化这种分布式进展,并用无标签的排名分离统计量预测应保留哪一代模型。在四个数据集和三种序列推荐编码器上,所选模型家族在34/36条轨迹中优于直接后继模型,但五种迁移机制无法稳定复现这些增益。
技术方向 · 训练侧的门道:数据集构建、合成数据、预训练与后训练方法 · 共 926 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
该论文提出推荐系统递归自我改进(Rec-RSI)中的状态保留问题,指出仅用最新模型评估每轮更新会忽略跨代模型间的互补排序决策。作者定义跨代优势(CGA)来量化这种分布式进展,并用无标签的排名分离统计量预测应保留哪一代模型。在四个数据集和三种序列推荐编码器上,所选模型家族在34/36条轨迹中优于直接后继模型,但五种迁移机制无法稳定复现这些增益。
研究者提出 TEMPEST,一种基于时间卷积网络并用 ArcFace 加性角度间隔损失训练的驾驶行为嵌入模型,将 60 秒多模态驾驶窗口映射为 96 维嵌入。在 45 名驾驶员的 DriverID 数据集上,其 Rank-1 准确率达 91.71%,比最佳经典模型高 17.9 个百分点,比最强 triplet-loss 基线高 58.4 个百分点;驾驶员池从
该论文提出 Guidance-Augmented GRPO (GA-GRPO) 统一理论框架,将外部引导建模为改写问题分布的随机引导算子,把由此产生的策略梯度估计量分析为有偏的 on-policy 估计量,其偏差由引导分布与策略自身分布之间的全变差散度界定。框架涵盖 vanilla GRPO、LUFFY、ExPO、PAPO、TAPO 等作为特例,并证明收敛速
IFM 在 Hugging Face 发布 K2-Horizon-32B,这是 K2-Horizon 系列中的大型稠密(dense)模型,采用 decoder-only 架构,拥有 512K 原生上下文窗口。该模型以 Apache-2.0 许可开放权重,并公开训练数据、训练配方与训练代码,同时释放中间检查点以便研究训练过程中的能力变化。模型在 agentic
OpenAI 首席战略官 Kwon 表示,自 Medicare 数据泄露事件后,公司已增加额外监控措施,允许员工在模型以不当方式访问互联网时进行“即时干预”以停止训练。该表态由记者 Victoria Kim 在澳大利亚议会报道中引述。
Mistral 发布 Mistral Large 4 预览版,这是一个 1 万亿参数、490 亿激活参数的模型,使用其自有的 3800 块 NVIDIA Grace Blackwell GPU 集群训练。该预览版通过 Mistral API 提供,官方承诺月底发布开放权重版本。模型仅支持 none 和 high 两档推理级别,在 Artificial Ana
EldanRing 发布了 Winnow-E4B,这是基于 google/gemma-4-E4B-it 微调的紧凑型模型,用于类型化决策、聊天和图像输入。模型以 GGUF 格式提供,可直接本地推理,无需单独下载适配器或基础模型。在公开评测中,Winnow-E4B Q8 在 JevBench 上达到 80.52%,在 Kev v9 clean 上达到 72.6
EldanRing 发布了 Winnow-12B,这是基于 Google Gemma 4 12B IT 微调的 GGUF 模型,面向本地类型化决策、聊天和图像输入。模型通过 Winnow 服务器的 /v1/systemone 接口对给定选项打分,无需生成解释,同时支持常规聊天。在 JevBench 和 Kev-v9 决策基准上,Winnow-12B Q8 分
AWS 官方博客介绍 Amazon SageMaker HyperPod 的集群管理与治理最佳实践,重点解决多团队共享加速计算集群时的权限、容量分配与问责问题。文章提出组织、项目、集群、工作负载四层控制模型,并说明如何通过 SageMaker Unified Studio 将已批准的 HyperPod 集群接入项目,同时保留 IAM、EKS、Slurm 等底
AWS 宣布在 SageMaker Studio UI 中直接创建和管理 SageMaker HyperPod EKS 集群上的 SageMaker Spaces。数据科学家和 ML 工程师无需使用命令行工具,即可在浏览器中启动 JupyterLab 和 Code Editor 环境,将集群访问到开发环境就绪的时间缩短到几次点击。管理员需一次性安装 Spac
法国 AI 实验室 Mistral AI 发布 Mistral Large 4(ML4),一个拥有 1 万亿参数的大型多模态模型,昵称 Le Chonk,目标是同时超越中美竞争对手。该模型目前仅通过公共护栏端点提供访问,Mistral 计划在三周安全测试完成后开放权重。ML4 完全使用 Mistral 自有算力训练,仅用 4000 块 Nvidia GPU,
NVIDIA 发布《电信行业 AI 现状》报告,指出 89% 受访者认为开源模型和软件对其公司 AI 战略重要,电信运营商正基于开源模型构建 AI 战略,原因包括信任、控制和定制能力。NVIDIA 宣布推出 300 亿参数的 Nemotron 3 Large Telco Model(由 AdaptKey 在开源电信数据集上微调),并发布端到端微调配方,同时以
Paradigma 发布首个模型 Limite 1B - Violetto,这是一个 10 亿参数的稠密自回归 Transformer,从零训练于不到 3000 亿精选 token,支持最长 131k 上下文,面向高吞吐数学推理。该模型通过合成数据、SFT 与 RL 后训练,在 BeyondAIME 上平均得分 74.25%,超过 MUSE-Glimmer-
AI 初创公司 Reflection 发布其首个开放权重模型 Beam,面向编程、逻辑推理与智能体任务,采用混合专家架构,每 token 仅激活 5010 亿参数中的 230 亿,主打计算效率。Reflection 称 Beam 在关键推理基准上可匹敌 GLM 5.2,但计算量少三到四倍,并接近规模更大的 Qwen3.8-Max。该模型基于 10500 块
开发者 Sankar-2910 在 Hugging Face 发布 genz-translator v2,一个约 2965 万参数、从随机初始化开始训练的 Llama 风格解码器模型,专门把 Gen Z 网络俚语翻译成标准英语。模型使用自建 8000 词表 Byte-Level BPE 分词器,在约 100 万条清洗去重的指令-响应对上继续训练,验证损失从
Reflection 发布 Beam,一个 501B 总参数、23B 激活的 MoE 文本模型,面向编程、智能体与科研任务,从零训练,Apache 2.0 全权重将于本月发布。团队称使用 23.8T 预训练 token,并在约 10,500 块 GB300 上完成预训练与 RL,SWE-bench Verified 得分 80.9。第三方分析认为其智能水平大
该论文提出 ALoDLM,一种自适应循环扩散语言模型,用 token 级自适应潜在循环替代均匀计算深度,根据 token 难度分配计算量。作者将 token 级计算调度建模为隐变量并推导条件 NELBO,联合学习 token 预测与计算分配。在 1.7B 和 8B 参数规模、十一个基准上,ALoDLM 平均得分超过所有评估的扩散模型及对应自回归基线,同时保持
该研究针对移动应用评论的细粒度情感分类问题,基于Plutchik八类基本情感标注框架和1090条人工标注数据,系统比较了编码器微调(多标签与二元集成)与解码器零样本/少样本提示方法,并评估了损失重加权、重采样和生成式数据增强等类别不平衡缓解策略。结果显示,微调编码器在基线时大幅落后于最佳解码器少样本提示,但结合生成式增强和正例加权损失后可缩小差距,且推理延迟
该研究构建了一个由已知两层组成的受控任务:下层A从记录中计算五个逐槽和,上层B利用槽1的和及历史模式预测下一类别,因此B无法仅由当前A计算得出。训练小型循环网络仅学习B后发现,网络对A的习得呈现「锯齿状」——B需要的槽1可读性达97-98%,而其他槽仅5-10%,类别误读集中在槽1临界值附近。匹配实验表明,即使提供精确的A也不足以消除B的失败,说明下层理论的
西班牙巴利阿里群岛大学的研究者对七种现代计算机视觉架构(MobileNetV3-Small/Large、EfficientNet-B0/B1、ViT-B/32、ConvNeXt-Tiny、ViT-B/16)在ImageNet-1k分类任务上的训练能耗进行了实证测量,使用统一的10,000张图像子集和40轮基线配置,在两张NVIDIA Tesla P100 G