返回全部动态
蚂蚁OmniTable获VLDB最佳论文:35PB语料宽表管理提速5.6倍
原标题:还在为大模型洗数据熬夜?蚂蚁拿下VLDB工业最佳论文,一套宽表搞定35PB语料,效率狂飙5.6倍
AI 摘要
蚂蚁集团推出统一宽表系统OmniTable,论文获评VLDB 2026工业赛道最佳论文。该系统已在生产环境管理超过35 PB、3050亿条以上的大模型训练数据,通过逻辑统一、物理分离的设计,将真实SFT数据准备任务端到端周期从约14天缩短至2.5天,提速5.6倍,手工步骤减少73.3%。
以上摘要由 AI 生成,可能存在误差。事实请以原文为准。
正文节选
还在为大模型洗数据熬夜?蚂蚁拿下VLDB工业最佳论文,一套宽表搞定35PB语料,效率狂飙5.6倍 蚂蚁集团推出统一宽表系统OmniTable,论文获评VLDB 2026工业赛道最佳论文 训练一个大模型之前,语料要经过解析、清洗、去重、质量评分、Token 化和样本组装。规模来到 PB 级,工程团队每天面对的不止算力账单,还有数百张表、不断增加的特征,以及少数几条就可能让整批任务重跑的异常数据。 今年的 VLDB 工业赛道最佳论文,关注的正是大模型训练中非常重要,但也常被忽视的环节——数据准备。论文《OmniTable: A Unified Wide-Table System for Petabyte-Scale LLM Data Curation and Exploration》介绍了一套由蚂蚁集团研发的统一宽表系统 OmniTable。 (图说:蚂蚁集团论文《OmniTable: A Unified Wide-Table System for Petabyte-Scale LLM Data Curation and Exploration》获评 VLDB 2026 工业赛道最佳论文,
发布时间:2026-09-02 14:20
抓取时间:2026-09-02 15:18
来源机构:量子位