IQuest-Q1发布:320B稀疏MoE模型可揪RL训练Bug、Prompt直出游戏
原标题:精准揪出RL训练数据Bug,Prompt直出小游戏,IQuest-Q1夯爆了!
AI 摘要
至知创新研究院IQuest Research发布IQuest-Q1模型,采用decoder-only Transformer主干和稀疏MoE架构,总参数约320B、激活参数约15B。该模型在NL2Repo、CyberGym、Terminal-Bench 2.1、DeepSWE v1.1、JobBench等基准测试中表现不俗,实测中可凭Prompt生成HTML小游戏,并成功定位RL训练中因推理服务文本解码多插入一个空格导致的Reward曲线异常故障。团队此前还提出MuonH优化、UBio-MolFM、稀疏权重分解及ModularRSI自进化框架等研究成果。
正文节选
精准揪出RL训练数据Bug,Prompt直出小游戏,IQuest-Q1夯爆了! 文婷 发自 凹非寺 量子位 | 公众号QbitAI 别眨眼。 星空下,一辆白橙色的反重力赛车如利刃出鞘,猛地切进弯道,丝滑拐弯,在赛道上拖拽出一道道冰蓝光带,溅起金黄色的摩擦星火,直至冲线。 这可不是好莱坞特技大片,而是我用IQuest-Q1模型搓出来的沉浸式反重力竞速游戏。 它既能凭一句Prompt原地打造一款炫酷游戏,也能把十万步三体方程解成克林姆特笔下流淌的金色丝线,甚至还能从RL训练数据里揪出隐藏空格bug,让模型重回训练正轨。 △数值求解三体问题运动方程实测(10万步以内) 从Benchmark的表现来看,IQuest-Q1也交出了一份相当能打的成绩单。 它在仓库级代码生成NL2Repo、网络安全基准CyberGym、终端Terminal-Bench 2.1、代码长程任务DeepSWE v1.1、办公场景JobBench等复杂任务评测中均表现不俗。 这么看,在同参数量模型中,它的表现是相当可圈可点的。 那么IQuest-Q1究竟是一款怎样的模型?它具体能帮我们做些什么?它诞生的研究土壤是怎样的?