数据与训练

技术方向 · 训练侧的门道：数据集构建、合成数据、预训练与后训练方法 · 共 549 条

只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。

8月28日周五 · 6 条

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.LG一手来源研究

有限Newton-Schulz的平滑效应：Muon在非光滑非凸优化中的优势

本文研究了Muon优化器中有限Newton-Schulz迭代在非光滑非凸优化中的作用。作者通过在线到非凸转换分析，证明有限Newton-Schulz迭代将不连续的极分解映射平滑为Lipschitz映射，从而使得Muon能够收敛到驻点，而精确极分解更新可能无法收敛。该结果首次表明有限Newton-Schulz迭代是有益的而非近似误差，并扩展至一般谱映射。

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.AI一手来源研究

EduRiskX：结合F-Logic推理的神经符号框架用于早期学业风险预测

EduRiskX 是一个神经符号框架，结合了时间 Transformer 预测器与 F-Logic 符号推理，用于在线教育中的早期学业风险预测。在 OULAD 数据集上，它实现了 0.900 的准确率和 0.894 的 F1 分数，平均早期检测周为 9.32，检测率为 94.30%。该框架通过 F-Logic 模块提供基于规则的解释，增强了可解释性，并优于

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.CL一手来源研究

模型能否免费捕捉自身幻觉？无标签置信信号在弃权任务中媲美标签数据集

该研究提出一种无标签的弃权微调方法，利用模型自身的冻结置信度（token概率）来教导模型在低置信度时回答“我不确定”，无需正确性标签。在六个开源模型（1B-8B）的短事实问答测试中，该方法与标签监督的弃权调优性能相当，无统计显著差异。研究还发现，该信号无法识别“自信但错误”的事实，是其盲点。

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.IR一手来源研究

监督微调何时降低指令敏感性？

该研究探讨了监督微调（SFT）对大型语言模型指令敏感性的影响。通过Qwen3（1.7B、4B、8B）及Mistral-7B、Gemma-2-9B模型在MS MARCO和ESCI-English上的实验，发现SFT并非统一降低指令敏感性：小模型（1.7B、4B）显著降低（54-71%），而8B模型个体变化不显著，但训练指令间的对比差异可靠。跨模型结果不一致，且

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.MA一手来源研究

MoRe：单智能体多角色混合实现多视角协同

arXiv 论文提出 Mixture of Roles (MoRe) 方法，通过可学习码本和查询感知路由器，将多个角色组合成单一 steering vector，在单智能体单次推理中实现多视角专业化。实验显示 MoRe 平均比单智能体基线高 2.2%，性能与多智能体系统相当，但显著降低 token 成本。该方法通过三阶段 SFT 和 GRPO 训练，且保持骨

03:08

正文结构化主题已通过公开置信门槛

DeepSpeed Releases一手来源产品发布

DeepSpeed v0.19.6 补丁发布：修复与 Apple Silicon 支持

DeepSpeed 发布了 v0.19.6 补丁版本，包含多项修复和功能改进，如修复 Ulysses 序列并行中的检查点选择、ZeRO-3 冻结参数问题，并新增对 Apple Silicon (MPS) 的支持（包括 Metal FusedAdam 内核）。此外，还实现了可配置的梯度求和归约、原生主机内存固定后端，以及 AutoTP 的不均匀分片和通用检查点

8月27日周四 · 1 条

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.AI一手来源研究

SimGuide：程序化多上下文表示实现个性化代理规划

本文提出 SimGuide 方法，将用户上下文结构化为类型化、领域特定的 Sims 块，并用程序化示例进行约束，以解决个性化 AI 代理将用户视为单一实体而导致的冲突问题。作者构建了 SimBench 基准（47 个任务），实验表明程序化约束的 Sims 在 GPT-4o 上比 RAG 方法提升 7.9 个偏好遵循点，并在 Claude Sonnet 4.5

8月26日周三 · 2 条

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.LG一手来源研究

临界深度平衡模型的响应重整化

本文提出了一种名为响应重整化（Response Renormalization）的框架，用于改善深度平衡模型（DEQ）的训练稳定性。该方法通过在后向传播中提升选定的近极点分母，同时保留未提升的响应通道，从而控制临界邻域内的伴随放大。实验表明，在23个多物理场系列中，使用该方法训练的模型在超过98%的静态和95%的瞬态比较中，测试误差与精确隐式微分训练的模型相

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.LG一手来源研究

数据可预测性决定Transformer权重规模增长规律

该研究提出，训练后Transformer的权重规模可由双参数Weibull分布概括，其增长由语料库的二元条件熵（一种训练前可计算的统计量）预测。研究发现权重规模增长与可预测性边际的幂次呈仿射关系，且该关系在不同学习率下成立，并能提前预测训练结果。该定律在模型和层级别均适用，但跨语料库预测存在局限，代码语料因冗余性而偏离。

8月25日周二 · 5 条