何恺明团队NAT-ARC：用ImageNet预训练纯视觉方案解ARC
原标题：何恺明团队新作：看猫片就能学会ARC挑战
AI 摘要
何恺明团队（MIT CSAIL）提出NAT-ARC，一种纯视觉的ARC抽象推理方案。该方法在VARC视觉流程前插入ImageNet MAE自监督预训练，用约130万张自然图像训练encoder，再迁移到ARC彩色格子推理任务。最佳单模型（0.6B参数）在ARC-1上取得63.4% pass@2，集成后达70.2%，以约四分之一参数量逼近8B专用LLM系统The ARChitects的71.6%。论文还发现预训练打通了视觉路线的scaling瓶颈，并通过注意力可视化和图像-格子表征互译实验证明自然图像与ARC格子共享表征空间。
正文节选
何恺明团队新作：看猫片就能学会ARC挑战 用ImageNet训练encoder 克雷西 发自 凹非寺 量子位 | 公众号QbitAI 教会AI做ARC抽象推理题的，竟然是猫猫？ 何恺明团队最新论文提出了NAT-ARC，一套纯视觉的ARC解题方案。 它不靠LLM，用ImageNet上的猫狗花草做预训练，让模型学会「看」，再迁移到抽象格子推理上。 结果，NAT-ARC表现最好的单模型在ARC-1上跑出了63.4%的pass@2分数，集成后达到70.2%。 这是纯视觉方案首次逼近专用LLM系统的水平。 ARC，公认最难的AI视觉智力测验之一，给你几个彩色格子的输入输出示例，让你推断背后隐藏的变换规则，再应用到新格子上。 过去的主流解法清一色把格子翻译成文字或符号，交给LLM推理。 这篇论文偏不，甚至预训练阶段连ARC格子都没用上。 模型看真实世界学来的视觉能力，就水灵灵地迁移到了完全抽象的彩色格子推理上。 ARC赛道，视觉方案崛起 ARC全称Abstraction and Reasoning Corpus，由Keras之父François Chollet在2019年提出。 ARC里每道题的格