MIT:GPT-6 Astra 直接改 Qwen 权重,数学能力涨 6 倍
原标题:MIT:GPT-6 Astra能直接修改Qwen权重,数学能力暴涨6倍
AI 摘要
MIT 团队实验显示,GPT-6 Astra 可直接读取并编辑小模型权重:对 Qwen3.5-0.8B 仅改动 0.016% 权重,MATH-500 得分从 7.9% 升至 48.1%,指令执行能力提升约 3 倍,全程未用训练或梯度下降。Astra 还能从权重中识别网络用途、定位归纳头,并从零写出小游戏网络权重,得分超 PPO 基线 20 倍。团队将这套方法命名为 Weight-Space Programming(权重空间编程)。
正文节选
MIT:GPT-6 Astra能直接修改Qwen权重,数学能力暴涨6倍 指令执行能力也同步提升 鹭羽 发自 凹非寺 量子位 | 公众号 QbitAI GPT-6 Astra能直接读取编辑小模型权重了。 MIT刚刚做了个实验,瞬间引爆大模型圈—— 0.8B的「源神」Qwen3.5交给Astra,仅改动其中0.016%的权重,模型性能可以直接飞升。 全程没用训练,也没梯度下降。 同样的采样设置下,MATH-500得分从7.9%飙升到48.1%,数学运算能力是原来的约6倍。 甚至连原本没要求优化的指令执行能力也通通提高了3倍。 而修完模型还没完,让Astra从零写小游戏网络的权重,效果也是不错。 它一次回复交卷,得分超过训练了5亿步的PPO基线20倍。 团队给这套打法也起了个名字: Weight-Space Programming,权重空间编程。 Astra爆改模型权重 简单来说,就是让大模型直接分析神经网络权重,判断它在做什么、哪里出了问题,再按要求修改,甚至从零写出一个网络。 具体过程,先看最直观的Qwen实验。 研究者给Astra准备了一个Python环境,里面放着Qwen3.5-0.