Apertus 1.5 发布:新增多模态与思考模式,完全开源
Apertus 1.5 是对第一代模型的持续预训练版本,为 8B 模型新增 4 万亿 token、为 70B 模型新增 2 万亿 token 的文本与多模态训练数据,总训练量分别达 19T 和 17T。新版本引入原生多模态理解(图像与音频)、思考模式、262,144 token 长上下文、改进的指令遵循与工具使用能力,并继续完全开源权重、数据、价值观和训练细
技术方向 · 训练侧的门道:数据集构建、合成数据、预训练与后训练方法 · 共 926 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
Apertus 1.5 是对第一代模型的持续预训练版本,为 8B 模型新增 4 万亿 token、为 70B 模型新增 2 万亿 token 的文本与多模态训练数据,总训练量分别达 19T 和 17T。新版本引入原生多模态理解(图像与音频)、思考模式、262,144 token 长上下文、改进的指令遵循与工具使用能力,并继续完全开源权重、数据、价值观和训练细
开发者 BennyDaBall 在 Hugging Face 发布 Z-Engineer V4,这是一个基于 Qwen3 架构、对 Tongyi-MAI/Z-Image-Turbo 文本编码器进行全参数微调的 4B 提示词工程模型,用于扩展和优化 AI 图像生成提示词。该版本采用名为 SMART Training 的自定义训练方法,包含熵、全息、拓扑、流形四
NVIDIA 发布 Nemotron 3.5 Super VL,一个开放可定制的多模态模型,采用 120B 参数 MoE 架构,每 token 激活 12B 参数,单 GPU 上 agentic 任务吞吐量最高提升 5 倍。该模型融合推理、指令遵循、工具使用与文本、图像、文档、视频理解,开发者可用 NVIDIA NeMo 基于自有数据进行后训练,构建企业专用
另有 1 家信源报道
阶跃星辰正式开源Step 5 Preview模型权重,BF16与FP8两个版本同步上线Hugging Face和ModelScope。该模型采用稀疏MoE架构,总参数600B、激活参数27B,支持100万Token上下文,在Artificial Analysis Intelligence Index取得44分,位居全球开源模型前三,并在OpenRouter周
Google 发布面向机器人任务的 Gemini 4 Argon 模型,宣称用单一模型覆盖机器人控制、生成交互式 3D 训练环境以及评估训练数据。演示中它可从照片或草图构建仿真环境,让机器人先在虚拟世界练习再部署到真实硬件,例如让 Boston Dynamics Spot 练习投掷易拉罐,并生成超 4500 条训练片段使真实任务成功率从 56% 提升至 75
另有 1 家信源报道
Anthropic 在 IPO 前向投资者披露,季度营收环比增长近 50% 至 168 亿美元,其中 Q1 约 48 亿、Q2 为 115 亿、Q3 达 168 亿美元。公司还表示已大幅削减竞争对手通过“蒸馏”其模型输出所产生的收入,该部分在 Q3 前占营收的 5% 至 7%。按 Q2 数据推算,其他实验室单季为蒸馏 Anthropic 模型花费超过 5 亿
在都柏林 AI in Science Summit 上,欧盟委员会推出 AI in Science Enablers Initiative,并与 RAISE 框架衔接,旨在把产业界资源对接给欧洲科研群体。NVIDIA 宣布加入该计划,提供开放模型与数据集、深度学习课程、算力与云资源,以及与法国、西班牙、瑞典等国 AI 工厂和 EuroHPC 超算中心的合作。
雷峰网报道称,DeepSeek R1 发布后 AI Infra 人才薪资大幅上涨,优秀 Infra 工程师年包可达七八百万,跳槽涨幅常见 2 倍、个别达 3 倍。原因是行业从拼算法转向拼底层系统工程,Infra 通过提升 GPU 利用率(行业平均仅 25% 27%,优秀团队可达 40%)直接为公司节省数千万算力成本。但高溢价仅集中在推理优化、模型量化、算子开
昆仑万维于2026年10月15日发布并开源 Matrix-Game 4.0,称其为世界首款可在单张消费级显卡(NVIDIA RTX 5090)上运行的视频大模型游戏,实现480p、60 FPS、端到端延迟低于150毫秒的实时交互。该方案采用新范式:由游戏引擎维护世界状态与交互规则,编程智能体用代码构建游戏逻辑,视频模型负责实时渲染精细画面,并同步开源代码、权
另有 1 家信源报道
该论文提出一种用于在线策略蒸馏(OPD)的 token 效用度量方法,从蒸馏目标本身推导 token 重要性:在相同局部 KL 预算下,每个位置能带来多大损失下降。作者据此提出 Fisher Utility Weighting(FUW),一种连续、均值归一化的 token 加权方案。在七个数学推理基准和三个 Qwen3 学生-教师对上,FUW 在 rever
该论文研究视觉语言模型(VLM)在远程生理测量(RPM)任务上的失败原因,指出两大瓶颈:通用视觉语义表示无法保留细粒度生理线索,以及自回归离散 token 预测与连续数值测量之间的错位。作者提出 VITAL 框架,保留原有语义视觉通路并新增独立生理通路生成 PhysTokens,同时用结构化数值对齐改进心率估计。实验表明 VITAL 在多个 rPPG 数据集
美团与北京大学的研究者提出 ClawLoop,一个无需外部教师模型、可自我改进的智能体训练框架。它把任务合成、训练(SFT/RL)和诊断反馈组成闭环,让智能体在 harness 环境中自主生成任务、收集轨迹并诊断弱点,再用于下一轮训练。以 Qwen3.6-27B 为循环模型,在 SkillsBench、Claw-Eval-Live 和 ClawGym-Ben
该研究针对受监管场景下的语音代理,提出用机器可读规范 FlowSpec 生成策略指令、工具门控、监督信号和测试,使一个 9B 参数模型在 297 个随机化程序生成的 2,506 段对话上微调后,能迁移到未见过的催收等受监管流程。在泰国外呼催收场景中,文档化检查通过率从 67–71% 提升至 93–100%,场景通过率从 15/43 提升至 40/43,同时审
香港科技大学(广州)的研究者提出 DualGCN,一种双分支图知识蒸馏框架,用于解决严格冷启动推荐中因物品拓扑孤立导致的表征崩溃问题。该方法采用解耦的两阶段训练:先构建由拓扑平滑语义先验锚定的协同教师网络,再用语义学生分支通过残差映射和余弦蒸馏目标实现跨模态对齐,并引入动态范数重建机制校准新旧物品的尺度。在三个真实数据集上的实验表明,DualGCN 在严格冷
该论文提出了一种名为 Lotus 的时间序列语言模型,通过「预测性 grounding」预训练原则,要求语言对齐的时间序列表示在适配下游任务前仍能预测未来演化。Lotus 将每个时间序列通道划分为不重叠的 patch 并映射到 LLM 嵌入空间,同时提出结合原始 patch 与频谱表示的时频 patch 表示。在三种语言模型骨干和六个下游数据集上,Lotus
该论文针对扩散模型推理时的曝光偏差问题,提出一种校正训练方法:训练一个校正器以基础模型自身的预测为输入,并针对相同真实目标进行训练。在采样时,每个去噪步骤迭代精炼干净样本预测,可显著提升样本质量并保持多样性。方法在DiT、SiT、JiT等架构上验证,FID优于无引导生成,性能与CFG相当,且可通过蒸馏将校正能力回注基础模型,不增加推理开销。
研究团队提出 LensErase,一个基于掩码的通用「擦除任意内容」基础模型,覆盖物体、视觉文字、水印、视觉特效及多目标移除等多种真实场景。为支撑广泛覆盖,团队构建了包含 1.0107 亿对源图-掩码-目标样本的大规模数据集 LensErase-100M,并从文本到图像模型 Lens 预训练,提出 Mask-Aware RoPE 将掩码信息直接注入源图 to
因一起版权官司,Anthropic一份2021年7月的内部研究路线图意外曝光。文件显示,当时仅十几人的Anthropic已明确将「具备软件工程师同事全部能力的通用AI助手」定为终极目标,并预判了工具调用、模型自我评判、测试时计算、万亿参数与超长上下文等方向,还讨论了无沙箱工具部署的安全风险。文章同时提及OpenAI前工程师因在总部会议室安装窃听设备被联邦刑事
Mistral AI 发布首个时间序列基础模型系列 Timestral,最大模型仅 209M 参数,却在 GIFT-Eval、TIME 和 fev-bench 三个主要公开基准上排名第一,超越参数量更大的模型。该系列包含 5M、28M、123M、209M 四个尺寸,支持概率化多变量预测及过去/未来协变量,无需 GPU 即可在 CPU 上高效推理。模型结合合成
MLX 发布 v0.32.4 版本,这是一个以修复和优化为主的补丁更新。主要变更包括为缩放点积注意力(SDPA)和门控 delta 网络添加 VJP 支持、新增 Python 3.15 支持、修复大量 Metal/CUDA 后端与视图/步幅相关的 bug,并优化了量化矩阵乘法和 gather qmm 等内核性能。该版本提升了 MLX 在 Apple Sili