返回全部动态

笔记本上的 Qwen 3.8 27B 也能解读模型权重

原标题:Qwen 3.8 27B on my laptop can interpret model weights, too

Simon Willison's Weblog研究质量 74

AI 摘要

博主 Simon Willison 复现了论文《Sparks of Weight-Space Programming》中的实验:该论文称 GPT-6 Astra 等前沿模型能直接读取和修改神经网络原始权重,例如识别网络训练的游戏、在无梯度条件下修改 Qwen3.5-0.8B 的 0.016% 权重,将 MATH-500 从 7.9% 提升到 48.1%。Willison 用笔记本上的 Qwen 3.8 27B 运行论文提供的提示词,成功识别出 Pac-Man、Pong 和 Breakout 三个游戏,但耗时 46 分钟到 1 小时以上。spaCy 作者 Matthew Honnibal 等人批评论文混淆了「无工具读权重」与「借助代码改权重」两类能力。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

Qwen 3.8 27B on my laptop can interpret model weights, too 3rd November 2026 Yesterday’s hot paper was Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights by Rikiya Takehi, Jayden Teoh, Alex Zhang, and Omar Khattab. The paper found that frontier models, in particular GPT-6 Astra, can both interpret and modify the raw weights of a machine learning model—literally a text description of the model containing a bunch of floating point numbers. I’ve been playing w


发布时间:2026-11-04 00:29
抓取时间:2026-11-04 00:34
来源机构:Simon Willison
阅读原文simonwillison.net