有损压缩文本自编码器
原标题：Lossy Compressive Text Autoencoders
AI 摘要
该论文提出一种基于 Transformer 的文本自编码器架构，通过沿时间轴对隐藏表示进行残差降采样与升采样，并结合残差低维离散瓶颈与量化，学习文本的有损压缩潜在表示。在网页文本数据上，4.3B 参数模型达到每字节 2.24 比特的压缩率，作者称这是文献中文本自编码器模型的最高压缩率。研究还比较了不同量化方法、训练目标和数据集，发现重建与表示之间存在权衡，且 BLEU、Rouge、chrF、BERTScore 等常用相似度指标不能可靠衡量语义相似度，因此引入基于 MQM 改编的 LLM 评判器。
正文节选
[VS]Work done while interning at Apple. \metadata[AK]Work done while at Apple. \metadata[Correspondence]Vinko Sabolčec: vinko.sabolcec@epfl.ch; David Grangier: grangier@apple.com Lossy Compressive Text Autoencoders Abstract Our work explores learning a compressed latent representation of text, at the intersection of data compression and representation learning. We propose an autoencoder architecture that performs residual downscaling and upscaling of hidden representations along the time axis, w