Amazon SageMaker AI 上的 MoE kernel 工程优化
AWS Machine Learning Blog 发布技术文章,介绍在 Amazon SageMaker AI 上针对 Mixture-of-Experts(MoE)模型的 kernel 工程优化。文章重点讲解 Fused MoE 技术,以及如何通过 Swap-AB 转置矩阵乘法来适配 NVIDIA Hopper 架构的 WGMMA 指令,解决 decod
技术方向 · 通用文本大模型的发布、能力更新与技术路线 · 共 527 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
AWS Machine Learning Blog 发布技术文章,介绍在 Amazon SageMaker AI 上针对 Mixture-of-Experts(MoE)模型的 kernel 工程优化。文章重点讲解 Fused MoE 技术,以及如何通过 Swap-AB 转置矩阵乘法来适配 NVIDIA Hopper 架构的 WGMMA 指令,解决 decod
该论文首次将多智能体视觉语言导航(VLN)系统形式化为受约束的协调问题,其中每个任务由带依赖和资源约束(presence locks 与 holding chains)的子任务组成。作者构建了 MAVLN 基准,包含 145 个场景中的 11,724 个 episode,支持最多四个智能体在三种指令模式下协作,并配有约束感知指标。同时提出 TRISS 系统,
微软研究院提出 StudentSim,一个用于在真实学习者测试前评估和改进 AI 辅导系统的研究系统。它基于公开的去标识化学习记录,为每个学生训练个性化模拟器,并引入 StudentSimEval 基准,从行为保真度和指导响应性两个维度评估模拟器。在国际象棋、第二语言英语写作和数学三个领域,StudentSim 优于主流基线,能为训练 AI 辅导系统提供有用
AWS 在 Machine Learning Blog 发布教程,介绍如何用 llama.cpp 的 AWS Deep Learning Container 在 Amazon SageMaker AI 上部署决策模型。方案包含两条路径:标准路径通过 OpenAI 兼容的 chat completions 接口提供文本生成,结构化决策路径则构建子镜像并接入 S
OpenAI 联合创始人、现 Anthropic 研究员 Andrej Karpathy 提出,公众对 AI 能力的认知存在巨大鸿沟:约 75% 的全球人口几乎未接触过大语言模型,仅约 2000 万数学与编程专业人士在工作中使用前沿模型,而全球仅约 5000 人能接触内部前沿系统。他指出这些内部系统已能完成需顶级专家数年才能完成的任务,如大规模 agent
Hugging Face 发布 Falcon-Emirati-7B,一个基于 Falcon-H1-Arabic 的阿拉伯语方言专用模型,专注于理解和生成阿联酋阿拉伯语(海湾方言)。该模型通过爬取原生方言文本、MSA 文化资料和受规则约束的合成数据构建数据管线,并实验了方言数据注入比例与训练阶段。其目标是让模型掌握方言词汇、语气及背后的文化语境,而非仅做字面翻
据《金融时报》援引PitchBook数据,截至2026年10月8日,全球机器人和物理AI企业今年累计融资接近480亿美元,已超2025年全年约1.7倍,资金明显向Anduril、NEURA Robotics、Skild AI、Physical Intelligence等头部企业集中。为破解机器人训练数据不足的瓶颈,Figure推出付费众包数据的Index计划
用户 sudoingx 在 Hugging Face 发布了 Ternary-Bonsai-2-27B-PTQ1 0-MTP-GGUF,这是将 Qwen 3.8 27B 的多 token 预测(MTP)头嫁接到 PrismML 三元压缩模型(1.75 bpw,5.95 GB)上的 GGUF 量化版本,并配套一键安装脚本支持 RTX 30/40/50 及 AM
微软基于阿里Qwen3.5-9B后训练推出全新决策模型Microsoft-Decision-1,在结构化决策任务的时延和准确性上超过LLM及Jev 1.13.0等热门决策模型。微软Xbox研究团队已用它处理超1万条玩家反馈,CEO纳德拉表示微软正在事件响应、质量控制、科学发现等所有领域测试应用该模型。报道还指出,HuggingFace上129个开源决策模型项
该论文介绍了开源知识图谱问答系统 SPARQL-LLM 参加 TEXT2SPARQL 2026 挑战赛的情况。SPARQL-LLM 在八个参赛方案中总排名第一,准确率最高比第二名高出 59%,并支持英语、德语和西班牙语的多语言问答。系统采用基于检索的方法,在查询前组装上下文,使每个问题的 LLM 交互次数固定,避免了智能体方法效率低、难以收敛的问题。该系统已
该论文提出 DCOCO(DFlash Contextual Corrector),一种用于并行扩散草稿器(如 DFlash)的轻量级上下文校正机制,旨在恢复推测解码中因并行生成而丢失的块内依赖关系。DCOCO 不直接采用每个位置的 top-1 预测,而是保留多个候选 token,并利用草稿器已有的隐藏状态和 logits 并行评估相邻位置间的上下文兼容性,再
来自西安电子科技大学、伦敦大学学院、香港大学和南洋理工大学的研究者提出 SwingGuard,一个面向加密货币波段交易的双时间尺度多智能体框架。它在策略生成阶段就让当前风险上下文约束可行策略,并在治理阶段以五分钟频率持续诊断风险、维护持久风险状态并限制执行。在 BTC 和 ETH 上的评估显示,该框架在扣除交易成本后仍保持正收益、较浅回撤和较强风险调整表现,
该论文提出 CLUE 框架,用于无监督事件类型归纳、命名与标注。CLUE 通过对比学习联合建模谓词中心视角与语义视角,利用对比损失引导聚类,并借助 LLM 对代表性句子生成合成监督来命名和精炼事件类型。实验表明该方法能有效处理谓词多义性并降低人工标注成本。
该论文提出代数整数数值格式(AINF)及代数整数量化(AIQ),用于机器学习中的压缩计算。AINF 可归约为纯整数运算,实现无误差乘加,并支持按用例定制代数整数。作者开发了矩阵乘法引擎,性能在现代硬件加速器上处于高效数值实现的预期倍数内;在 LLM 推理的 8-bit 和 6-bit 量化实验中,AIQ 在相同每参数比特预算下精度与行业标准 MX 格式相当。
Autodesk AI Lab 提出 AutoIndexer,一种通过「编辑链」训练因果模型实现灵活顺序解码的方法。模型学习预测插入、替换、删除等编辑操作的标记与光标位置,从而在生成后对已有输出进行回溯修改,且不牺牲标准 LLM 基准性能。该方法在生成顺序上保持自回归(保留 KV 缓存与 EOS 提前停止优势),但在显示顺序上可非自回归,代码已开源。
研究者提出 OPT-Kraken,一个无需训练的 LLM 优化建模幻觉修复框架,针对自然语言运筹学问题生成的数学模型与求解器代码之间的不一致进行事后修复。该框架提取问题需求与实例数据,通过问题-模型保真度、模型-代码一致性和数据接地检查定位错误,并按影响范围选择修复粒度,用契约约束允许的编辑。在已有优化建模基准上,它对多种自动建模框架和微调模型均带来正向收益
该论文提出 SAFE-QE,一种无需训练、与检索器无关的查询扩展方法,利用子序列关联理论识别并抑制 LLM 生成的幻觉扩展词。方法通过语料条件化的跨上下文可复现性打分,对在随机查询上下文中反复出现但缺乏伪相关集支持的词降权,并以约束覆盖最大化选择近似广泛且一致的词集。在 TREC 和 BEIR 基准上,SAFE-QE 的 nDCG@10 与生成式和语料引导扩
Apple Machine Learning Research 发表论文提出 Minions,一个动态分布式虚拟 GPU 云系统,将多台 macOS 设备上闲置的 Apple Silicon GPU 聚合起来执行大规模机器学习推理任务。该系统提供灵活的 GPU 推理任务执行、容错能力和高效资源利用,使团队无需额外采购 GPU 即可利用现有硬件。作者表示,在集
Hugging Face Bio 发布 Carbon-Annotator(Carbon-A),一个 1.2B 参数模型,可直接从 DNA 序列预测蛋白质编码区域,覆盖哺乳动物、脊椎动物、无脊椎动物、植物、真菌和原生生物,支持 98,304 碱基对上下文窗口并在双链上给出核苷酸分辨率预测。在 42 个基准基因组上,其宏观平均核苷酸 F1 达 0.944,优于
开发者 mradermacher 在 Hugging Face 上发布了 Huihui-Qwen3.8-27B-abliterated 模型的静态 GGUF 量化版本,提供从 Q2 K 到 Q8 0 以及 IQ4 XS 等多种量化规格,并附带多模态 mmproj 文件。该模型基于 huihui-ai 的去审查(abliterated)Qwen3.8-27B