Nick Cammarata 推翻十年旧论：神经网络并非黑箱
原标题：推翻一切！Nick Cammarata 万字长文宣告，AI 不是黑箱，99% 神经元清晰可见
AI 摘要
OpenAI 早期机制可解释性研究者 Nick Cammarata 发表长文《Neural Networks Are Already Clean》，推翻自己十年前在《Zoom In》中提出的经典结论，认为 InceptionV1 中编号 4e:55 的神经元并非识别猫脸或车头，而是检测 V 字几何形状。他称借助更先进的算法与 Agent 工具，现代视觉模型最后一层 99%~100% 的神经元都能得到清晰解释，并质疑稀疏自编码器（SAE）拆解出的特征可能是工具自身制造的假象。Google DeepMind 的 Neel Nanda 则提出反驳，认为该文并未带来实质性突破，双方争论的其实是不同定义的『叠加』。
正文节选
亲手推翻自己十年前的结论，可解释性大佬 Nick Cammarata 这次读懂 AI 脑回路。 作者丨高允毅 编辑丨岑 峰 在 AI 可解释性领域，有一个十年的经典案例，是 InceptionV1 模型里编号 4e:55 的神经元。这个神经元在看到“猫脸”和“汽车车头”时，都会被强烈激活。这意味着，整个神经网络的底层逻辑是不可解释的。于是整整十年，整个领域都沿着 “拆” 的思路往前走：既然网络是一团乱麻的黑盒，那就发明工具把它拆开。稀疏自编码器（SAE）分解、特征字典、特征解缠…… 都是先把纠缠的特征拆成一个个独立的、人类能懂的单元，再去理解。就在昨天，OpenAI早期机制可解释性研究的科学家，也是当年将该案例推向经典的《Zoom In》的共同作者，Nick Cammarata ，亲自推翻了自己当年所下的结论。“这个神经元根本不认识猫，也不认识车。它检测的是V