Adam 与自然梯度下降的几何距离研究
原标题：How Far is Adam from Natural Gradient Descent?
AI 摘要
该论文研究 Adam 优化器与自然梯度下降（NGD）之间的几何关系，将 Adam 的完整更新规则（含动量）建模为对角经验 Fisher 近似，并分析对角截断、经验标签替换和时间滞后带来的几何偏差。作者在良态线性回归、病态线性回归、逻辑回归和非凸小型神经网络四种损失景观上测量 Adam 与真实 NGD 的偏差，发现偏差在良态场景较低，但在病态和神经网络场景显著上升。研究还发现更高的几何漂移与初期优化变慢相关，但不影响最终目标最小化，且改进的经验 Fisher（iEF）比标准 EF 路径更稳定。结论认为 Adam 的优化能力可能来自结构近似误差与动量平滑的平衡，而非紧密跟踪自然梯度路径。
正文节选
How Far is Adam from Natural Gradient Descent? Abstract Adam is the standard optimizer in deep learning, yet its geometric relationship to natural gradient descent (NGD) contains unresolved questions. We study Adam’s full update rule, including momentum, as a diagonal empirical Fisher approximation subject to diagonal truncation, empirical label substitution, and temporal lag. Using the scale-invariant metric, we measure Adam’s geometric deviation from true NGD across four loss landscapes: well-