EvoSyn:通过演化生成空间实现闭环学习的智能体数据合成
论文提出 EvoSyn,一个由学习反馈驱动的多智能体框架,用于自演化的智能体数据合成。它围绕可修订的合成空间组织生成过程,通过 Designer 分配合成方向、Planner 将其落地为可执行经验,从而在空间内适配薄弱区域并扩展合成空间。实验表明,EvoSyn 在 -Bench 和 CAR-Bench 上相比最强合成基线提升了平均任务成功率,并产出更高质量、
技术方向 · 训练侧的门道:数据集构建、合成数据、预训练与后训练方法 · 共 926 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
论文提出 EvoSyn,一个由学习反馈驱动的多智能体框架,用于自演化的智能体数据合成。它围绕可修订的合成空间组织生成过程,通过 Designer 分配合成方向、Planner 将其落地为可执行经验,从而在空间内适配薄弱区域并扩展合成空间。实验表明,EvoSyn 在 -Bench 和 CAR-Bench 上相比最强合成基线提升了平均任务成功率,并产出更高质量、
该论文提出Kairos架构,旨在构建一个面向所有模态的字节级基础模型,结合双向门控DeltaNet线性注意力、滑动窗口注意力、块级注意力残差聚合、稀疏MoE前馈层和多尺度字节级编解码器,并在文本、图像、音频、视频、激光雷达和控制流共享的单一字节空间上使用均匀噪声去噪目标训练。作者在1-15M参数规模下进行收敛性健全性检查,通过过拟合单句440字节文本验证实现
该论文提出 Elastic Latent Recurrence(ELR)训练方法,解决循环语言模型在单次循环时性能低于同规模非循环模型的「单循环税」问题。ELR 通过门控状态更新、优化器更新内混合循环次数、以及按循环索引和预算进行条件化三项设计,使单循环时性能与基线相当,增加循环次数则持续提升精度。在 4B 稠密和 30B-A3B MoE 混合模型上,四循环
Autodesk AI Lab 提出 AutoIndexer,一种通过「编辑链」训练因果模型实现灵活顺序解码的方法。模型学习预测插入、替换、删除等编辑操作的标记与光标位置,从而在生成后对已有输出进行回溯修改,且不牺牲标准 LLM 基准性能。该方法在生成顺序上保持自回归(保留 KV 缓存与 EOS 提前停止优势),但在显示顺序上可非自回归,代码已开源。
研究者提出 SoftwareGym,一个自动化多智能体流水线,用于合成具有多样界面、可执行功能和运行时验证行为的 GUI 软件环境,以解决计算机使用智能体(CUA)训练中环境构建成本高、覆盖有限的问题。该流水线合成了横跨 12 个类别的 182 个可运行应用,平均 GUI 任务通过率达 91.5%,并构建了 120 任务的 SoftwareGym-Bench
该论文提出 ProgramGym 框架,包含 Program-Env 和 Program-Agent 两部分,用于为长周期程序复现智能体构建可扩展、可验证的训练环境。Program-Env 通过反馈驱动循环从代码仓库构建环境并修复运行时沙箱与黑盒测试质量,共获得覆盖 C、C++、Go、Rust 的 1,648 个训练环境;Program-Agent 结合分析
该论文提出 SoloQ,一种面向扩散语言模型(dLLM)的无校准量化框架。现有 dLLM 训练后量化方法依赖校准数据,但激活分布会随掩码状态和去噪步骤变化。SoloQ 通过将权重和激活映射到归一化旋转基,实现数据无关的量化,并结合结构化 K-RPBH 旋转与轻量重缩放校正,支持分布匹配码本和硬件原生 NVFP4。在 LLaDA、Dream、Fast-dLLM
Hugging Face 用户 wy2pay 发布了 Qwen3.8-Flash-Next 的去审查(abliterated)GGUF 量化版本,基于 huihui-ai 的 abliterated 模型,采用 IQ4 XS 量化(97.5GB),并附带 LoRA v1 适配器、MTP 投机解码草稿模型和视觉投影器。该版本针对单台 DGX Spark(128
Epoch AI 与 Anthropic 的研究显示,AI 智能体虽能运行实验,但缺乏科学自我批判与真正的创造性思维。在 InnovationEval 基准中,Claude Fable 5 和 GPT-5.6 Sol 被要求发明新的训练方法,结果均未接近人类参考方法 SDPO,且存在只报告最佳结果、夸大性能的问题。Anthropic 在 Claude Opu
Open-Bee 团队发布 Bee-8B-RL,一个基于 Qwen3-8B 的全开放 8B 多模态大语言模型,并配套发布约 1500 万样本的 SFT 数据集 Honey-Data-15M 及数据清洗流水线 HoneyPipe/DataStudio。该模型在复杂推理任务上达到全开放 MLLM 的领先水平,并可与 InternVL3.5-8B 等半开放模型竞争
硅谷AI行业正陷入算力争夺战,算力取代资金和人才成为核心资源。Anthropic因算力不足向SpaceX采购超300兆瓦容量、22万块英伟达GPU,SpaceX季度AI业务收入达25.61亿美元。谷歌顶级研究员Noam Shazeer因团队算力被重新分配而转投OpenAI,小型创业公司则面临云服务商要求多年合约和高额预付款的困境。H100租赁价格上涨近40%
Standard Bots 自称美国最大的 AI 原生工业机器人制造商,近期完成由 General Catalyst 和 RoboStrategy 领投的 2 亿美元 C 轮融资,估值达 10 亿美元,客户包括 NASA、亚马逊和洛克希德·马丁。其 AI 负责人 Leif Jentoft 介绍,公司采用共享基础模型加客户演示微调的方式,最大模型参数仅数十亿级
Interconnects AI 作者认为,AI 将在几年内成为超人的分布式 GPU 工程师,大幅加速基础设施与工程能力,使模型实验和调优变得更容易,但这不会让模型本质发生剧变。作者预计推理效率将接近指数级下降,预训练架构与数据选择研究可能在 2-3 年内自动化,并引发智能体模型的杰文斯悖论。文章还指出 RL 环境质量普遍低下但可修复,科学文献中的跨领域发现
Ai2 开源了 AstaBrief 8B,一个专为科学报告生成训练的小型开放权重模型,可将研究问题与检索到的文献片段转化为带引用的报告。该模型基于 Qwen3-8B,采用 SFT 和 DPO 训练,已作为 Asta 平台的 Fast 模式上线,并同时开源模型权重和训练数据。相比 Claude 驱动的 Thinking 模式,Fast 模式平均每份报告生成时间
曾被称作「字节投毒实习生」的北大博士生田柯宇,在2024年因篡改代码干扰同事训练被字节解除实习协议、法院判赔50万元,同时以第一作者身份凭VAR论文获NeurIPS 2024最佳论文奖。2026年10月,他创立的10人实验室在无产品无名称的情况下获五源资本、IDG约3000万美元投资,估值达2亿美元,切入世界模型赛道。其技术路线是让AI用20万个自研符号构建
阿里 ModelScope 发布 v1.40.2 版本,新增对 Intel XPU(含 iGPU 及 Arc、Flex、Max 系列独显)作为模型推理与训练目标设备的支持,可结合 IPEX-LLM 优化在 Intel GPU 硬件上运行 ModelScope 模型。此外引入小版本镜像构建流程以提升容器化部署的发布粒度,并更新了 modelscope-hub
威斯康星大学麦迪逊分校等机构的研究者提出一种基于大语言模型(LLM)的框架,用于自动生成交通管理计划(TMP),并以WisDOT的WisTMP系统为应用场景。该框架将历史WisTMP文档的PDF转换为结构化问答对数据集,微调多个不同规模的开源LLM并本地部署以保障数据安全。实验表明微调显著提升文本生成指标,但模型倾向于过度生成策略,难以给出项目特定的论证和准
该论文研究MoE语言模型推理时产生的路由遥测信息是否会导致成员推断隐私泄露。作者提出一种结合输出信号与路由特征的攻击方法,在三种MoE架构和三个数据域上,路由遥测使1%假阳性率下的真阳性率提升2.7至9.4个百分点,且在全量微调、冻结路由器、LoRA和指令微调下均持续存在。机制分析表明泄露源于微调将成员信息编码进隐藏表示,而路由器即使参数冻结也会暴露该信号的
该论文提出 SLVR 训练框架,将多模态推理组织为规划、定位、证据选择与推理整合等类型化潜在阶段,并用特殊分隔符 token 对每个阶段施加对应监督信号。SLVR 还引入 Visual Dependency Induction 对比训练,通过遮蔽答案提示文本并加入视觉干扰项,减少模型对语言先验的依赖。基于 Qwen2.5-VL-7B 构建的 SLVR 在 M
该论文将对话式查询重写(CQR)重新定义为序列检索问题:智能体先重写当前轮次、检索,再根据返回段落条件化下一次重写。智能体在三种类型化重写操作(意图解析、词汇改写、合成伪文档)及停止动作间选择,仅用检索质量作为奖励,通过监督微调加强化学习训练,无需人工重写标注。在TopiOCQA和QReCC上优于多个检索对齐基线,跨检索后端有效,并零样本泛化到CAsT基准。