Kairos：面向所有模态的字节级基础模型
原标题：Kairos: Toward a Byte-Level Foundation Model for Every Modality
AI 摘要
该论文提出Kairos架构，旨在构建一个面向所有模态的字节级基础模型，结合双向门控DeltaNet线性注意力、滑动窗口注意力、块级注意力残差聚合、稀疏MoE前馈层和多尺度字节级编解码器，并在文本、图像、音频、视频、激光雷达和控制流共享的单一字节空间上使用均匀噪声去噪目标训练。作者在1-15M参数规模下进行收敛性健全性检查，通过过拟合单句440字节文本验证实现能否优化，结果显示不同注意力变体和编解码器选择在最小损失上存在差异，共享投影的优势随步数增加而消失，属于收敛速度效应而非容量效应。结论强调这些检查仅表明实现可优化，不涉及泛化、多模态训练或与现有模型的比较，计划中的预训练将解决这些问题。
正文节选
Kairos: Toward a Byte-Level Foundation Model for Every Modality A Pyramidal Codec and Denoising Diffusion over Bidirectional Delta/Window-Attention Mixture-of-Experts – Does It Converge? Sanity Checks at Tiny Scale Abstract Background: Small language models trained on a single local machine leave little room for architectural trial and error. Kairos combines bidirectional gated-DeltaNet linear attention and sliding-window attention over shared projections (LiZAttention2), block-wise Attention-Re