Astra 微调 0.016% 权重,Qwen 数学成绩提升近 6 倍
原标题:0.016% 的 Astra 微创手术,治好了 Qwen 的 3 万 Token 死循环
AI 摘要
MIT CSAIL 提出 Weight-Space Programming 方法,让 GPT-6 Astra 直接读取并编辑其他神经网络的内部权重。Astra 仅修改 Qwen3.5-0.8B 约 0.016% 的参数,就将其 MATH-500 成绩从 7.9% 提升到 48.1%,并大幅减少 3 万 Token 死循环。研究还展示了 Astra 仅凭权重识别网络所学游戏与语言、从零生成可玩 Breakout 和围棋网络的能力。该工作把机制可解释性的输出从人类可读解释变为机器可执行的权重编辑指令,引发关于 AI 自我改进的讨论。
正文节选
0 作者丨郑佳美 编辑丨岑 峰 但 MIT CSAIL 最近尝试了一种更直接的办法:让 GPT-6 Astra 检查 Qwen3.5-0.8B 的内部权重,找出问题发生的位置,再直接修改参数。 结果,Astra 只改动了约 0.016% 的权重,就让 Qwen 的 MATH-500 成绩从 7.9% 提升到 48.1%,接近原来的 6 倍。 这项研究真正的信号,不是“0.016% 权重换 6 倍成绩”这个数字,而是它把机制可解释性的输出从“解释”变成了“可执行的编辑指令”,让AI有了改造另一个AI的“抓手”。 更有意思的是,同一组实验中,Astra 还能只看参数认出神经网络学过什么游戏、哪种语言,甚至从零写出一套网络权重,让它直接学会玩游戏。 研究者把这种能力称为 Weight-Space Programming,即权重空间编程。它背后有一个很有意思的技术变化:当神经网络里的参数能够被还原成具体的计算过程,LLM 就有机会像修改代码一样,直接改写模型内部的功能。 这件事如何实现,要从 Astra 阅读权重的方式说起。 01 只给一堆数字, Astra 怎么知道网络学会了什么? 研究者先