Apple 提出在线密集强化学习框架，训练 iOS 应用 UI 导航智能体

AI 摘要

Apple 机器学习研究团队提出一种在线强化学习框架，直接在真实 iOS 应用上训练 UI 导航智能体。该框架将智能体拆分为规划智能体和 UI 定位模型，使用 LLM-as-a-Judge 提供结合逐步密集反馈与任务完成终端奖励的信号，并采用 PPO 与逐步优势估计进行优化，同时提出 GiGPPO 方法提升 critic 稳定性。研究还搭建了可编排数百台并发虚拟 iOS 设备的基础设施。在 UINavBench、iOSWorld 和 AndroidWorld 上的评测显示，在线 RL 训练的智能体显著优于 SFT 和仅终端奖励的 RL 基线，8B 模型在跨分布泛化到 Android 环境时相比 SFT 基线提升近七倍，在真实 iOS 应用上超过 Gemini-3.5-Flash 并与 Gemini-3.1-Pro 持平。

正文节选

Online Dense Reinforcement Learning with Planning-Grounding Agent for UI Navigation on Live iOS Apps AuthorsPeitong Duan*, Seyed Khashaiar Gatmiry*, Jeff Nichols, Emmanuel Abbe, Samy Bengio While frontier vision-language models demonstrate strong capabilities in user interface (UI) navigation, their high inference costs prohibit everyday use. Conversely, smaller models trained via supervised fine-tuning (SFT) or offline reinforcement learning often memorize static trajectories, leading to brittl

发布时间：2026-11-02 08:00

抓取时间：2026-11-02 23:29

来源机构：Apple