梁文锋署名11篇论文：从MoE到DSec的底层技术狙击史
雷峰网AI科技评论梳理了梁文锋过去三年署名的11篇论文，涵盖DeepSeek LLM、DeepSeekMoE、DeepSeek-V2、DeepSeek-Coder-V2、DeepSeek-V3、DeepSeek-R1、NSA、mHC、DSpark及最新DSec等。文章称这些论文分别从数据配比、MoE架构、MLA注意力、代码能力、低成本训练、纯强化学习推理、硬
数据与训练
技术方向 · 训练侧的门道：数据集构建、合成数据、预训练与后训练方法 · 共 926 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
9月25日周五 · 12 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
平头哥发布真武V900芯片并扩大T-Head SAIL开源
在2026年9月云栖大会上，阿里巴巴旗下平头哥发布新一代AI芯片真武V900，并宣布AI软件栈T-Head SAIL进一步开源，开放PyTorch适配、迁移工具、算子开发工具及计算加速库等项目。真武芯片已服务20多个行业650多家客户，蚂蚁、小红书、小鹏汽车等基于SAIL进行模型迁移与优化。此举旨在降低客户迁移成本、让开发者参与芯片性能优化，并推动大厂造芯从
正文结构化主题已通过公开置信门槛
政策变更下学习产物的变更溯源监督
论文研究在政策变更下如何对学习产物（如LoRA适配器）进行失效、重建与准入。作者提出将记录的谱系（用于提出影响范围和解释）与独立的当前契约重验证分离，并在Qwen3-14B LoRA包和合成修正测试中验证：仅靠依赖图无法保证安全准入，独立重验证可拒绝陈旧包。
正文结构化主题已通过公开置信门槛
TW3Cast：冻结路由的轻量微调基础模型用于时间序列预测
该论文提出 TW3Cast，一个用于时间序列预测的路由系统，在 GIFT-Eval 基准上以平均 MASE 排名位列 130 个条目中的第 3 名。它不使用任何智能体或语言模型，而是通过一个在训练集上一次性计算并冻结的路由表，为 97 个配置选择专家（轻量微调的 Chronos-2、TiRex、Toto 等基础模型）或混合策略。系统采用双重准确率与校准标准、
正文结构化主题已通过公开置信门槛
通过轨迹微调让小型语言模型学习检索动作
该论文研究通过轨迹微调提升小语言模型（SLM）作为检索增强问答中「下一步动作控制器」的能力。作者从教师模型 Qwen 3-Next 80B-A3B Instruct 的搜索轨迹中构建七类动作预测任务，并用 LoRA 监督微调多个 SLM 与 xSLM。在 1,646 个留出动作样本上，Granite 4.1 3B 的 macro-F1 达 0.6536，远高
正文结构化主题已通过公开置信门槛
无依赖栈预训练GPT-2 124M并适配Qwen3临床模型
研究团队使用无第三方运行时依赖的 Zig 机器学习栈 numbat，从随机初始化预训练了 124.4M 参数的 GPT-2，在 9.91B token 网络文本上训练，并与 llm.c 的公开结果对比。其留出交叉熵为 3.2588（参考 3.29），HellaSwag 为 0.3053（参考 0.299），吞吐达 43,374 tokens/秒，高于 PyT
正文结构化主题已通过公开置信门槛
WROP：在世界模型中训练客体永久性
研究者提出 WROP（World Reasoning with Object Permanence）数据基础设施，包含 150 个受认知科学启发的手工设计任务，分为六个认知类别，并通过 Blender 生成器随机化速度、光照、相机角度等参数，每个任务可生成 1 万以上样本。团队发布了 150 万样本训练语料和 300 题评测集，在评测中评估了 14 个视频模
正文结构化主题已通过公开置信门槛
samai-8b M8 终版 GGUF 发布：agent 能力增强
开发者 tchbcb 在 Hugging Face 发布 samai-8b 的 M8 终版 GGUF 量化权重，基于 Qwen/Qwen3.5-9B 通过 QLoRA 蒸馏增强 agent 执行能力。在 60 题 agent 评测中总分从 M7 的 86.7 提升至 96.7，多工具编排与负向直答显著改善，knight15 能力回归保持满分。同盘位对比中，该
正文结构化主题已通过公开置信门槛
Oruk AI 发布 25 语言语音识别模型 Orukeet
Oruk AI 联合斯坦福、剑桥等机构发布 Orukeet，一个基于 NVIDIA Parakeet TDT 0.6B v3 微调的 25 语言语音识别模型。该方法将编码器一半的时序深度可分离滤波器替换为 12,288 个拟合后冻结的 Gabor 核，仅训练其余参数。在 74 个测试划分中的 61 个上超过 Parakeet，LibriSpeech test
正文结构化主题已通过公开置信门槛
DeepSeek被曝冲刺5000亿元估值，年化营收达67亿元
据The Information报道，DeepSeek年化营收运行率已达10亿美元（约67.13亿元人民币），较数月前不足5亿美元翻倍以上，由创始人梁文锋在投资者会议披露。DeepSeek正敲定新一轮500亿元人民币融资，目标估值5000亿元人民币，并同步筹备科创板IPO。其收入几乎全部来自API调用，涨价后客户未流失，但公司仍将超70%算力投入新模型训练，
正文结构化主题已通过公开置信门槛
科大讯飞发布全国产算力语音识别大模型Spark-ASR-2.0
科大讯飞于9月24日推出语音识别大模型Spark-ASR-2.0，基于全国产算力训练的语音基座模型Spark-Audio-1.0-Preview构建，重点提升通用识别、复杂声学场景识别、上下文识别和文本流畅规范性。该模型融合非自回归与LLM增强的自回归识别能力，通过投机解码实现先快速识别再重点纠错，推理成本较上代仅增10%，已上线讯飞输入法并通过讯飞开放平台
正文结构化主题已通过公开置信门槛
UkisAI 发布 Swift-Qwen3.8-27B 高效推理模型
UkisAI 发布了 Swift-Qwen3.8-27B，这是基于 Qwen3.8-27B 微调而来的推理高效衍生模型。该方法通过识别并惩罚导致过度思考的推理标记 token，使思考 token 数量减少 58.3%，性能损失低于 1%，在多个任务上实现约 1.95 倍加速。模型还引入了来自 BottleCap AI 的 ThinkingCap-Qwen3.
9月24日周四 · 8 条
正文结构化主题已通过公开置信门槛
NVIDIA 博客：用 Transformer Engine 高效训练生物基础模型 MoE
NVIDIA 发布技术博客，介绍如何利用 Transformer Engine（TE）和 BioNeMo MoE recipe 高效训练生物基础模型。文章指出 MoE 架构虽能更高效扩展模型容量，但面临专家计算碎片化、路由通信开销和内存压力等瓶颈。TE 通过 GroupedLinear、MXFP8 低精度训练和融合 GroupedMLP 内核（整合量化、Sw
正文结构化主题已通过公开置信门槛
任少卿署名新论文：MM-Future让自动驾驶多未来联合规划
蔚来智能驾驶基础模型预研团队在任少卿指导下发布论文《MM-Future: Multi-Mode Joint World–Action Modeling for Autonomous Driving》，提出多模式世界—动作联合模型，可一次生成多组配对场景—动作假设并让场景与动作双向演化。在NAVSIM-v1上取得94.0 PDMS、NAVSIM-v2上取得91
正文结构化主题已通过公开置信门槛
inclusionAI 开源 Ling-mini-2.0：16B MoE 模型仅激活 1.4B
inclusionAI 开源了 Ling 2.0 系列首个模型 Ling-mini-2.0，这是一个基于 MoE 架构的大语言模型，总参数 16B、每 token 仅激活 1.4B（非嵌入 789M），在 20T+ tokens 上训练。该模型采用 1/32 激活比、MTP、QK-Norm 等设计，宣称以 1.4B 激活参数达到 7-8B 稠密模型性能，在
正文结构化主题已通过公开置信门槛
漂移契约：面向深度鲁棒局部学习的谱更新
该论文研究将 Muon 风格的谱更新几何（动量正交化加谱步长缩放）应用于逐层局部学习，此前这一交叉领域未被研究。在 CIFAR-10 MLP 基准上，单一固定步长设置在宽度 128 至 2048、深度 12 至 48 的网格中均为最优，而局部 Adam 需沿两个轴重新调参且在深度 48 时崩溃（31.3%）。作者进一步提出「漂移契约」，将步长表述为每层、输入
正文结构化主题已通过公开置信门槛
阶段监督潜在推理实现单次JavaScript反混淆
该论文提出一种阶段感知的潜在推理框架，用于JavaScript反混淆。方法将确定性反混淆工具产生的中间输出转化为监督信号，基于Coconut（连续思维链）范式训练模型，使其在训练时学习多阶段重写过程，但在推理时仅接收混淆代码并一次性生成清理后的程序。在JsDeObsBench上的初步结果显示，基于Coconut的模型将语法有效性提升至50%（直接微调为15%
正文结构化主题已通过公开置信门槛
Ovis-Embedding：推进通用全模态嵌入前沿
该论文提出 Ovis-Embedding，一个基于 Qwen-Omni 预训练理解模型构建的全模态嵌入模型家族，通过共享多模态骨干网络将文本、图像、视频和音频编码到统一表示空间。研究采用低秩对比预训练、同源采样、focal loss 和嵌入蒸馏等训练优化策略，并在推理时用低秩特征分解实现紧凑嵌入。在 MMEB-v3、MMEB-v2、MVEB、MAEB 和 R
正文结构化主题已通过公开置信门槛
现有预条件器能否提升生物医学表格基础学习？TabPFN优化实证研究
该研究对TabPFN v2.5在59个生物医学数据集上的微调进行了实证研究，比较了五种基于AdamW的预条件优化策略。结果显示，原始AdamW优化器在预测性能和统计排名上始终最佳，而现有的曲率感知预条件器未能带来可靠改进。作者认为通用预条件方法可能无法充分捕捉生物医学表格学习的优化特性，需开发面向医疗的专用预条件器。
正文结构化主题已通过公开置信门槛
ItColBERT：意大利语专用后期交互检索器
研究团队发布了 ItColBERT，一个 135M 参数的意大利语专用后期交互检索器，基于 PyLate 并遵循 ColBERT-Zero 训练配方，在单张 RTX 3090 上约 14.5 GPU 小时完成训练。在四个意大利语检索基准上，它优于除 mLateOn 外的所有通用后期交互基线，且参数更少。主要发现是方法学上的：在 MLDR-it 上，对未改动检