返回全部动态

多语言量化税:边缘小型语言模型的结构性崩溃与类型脆弱性

原标题:The Multilingual Quantization Tax: Structural Collapse and Typological Fragility in Edge SLMs

arXiv cs.CL一手来源研究质量 83

AI 摘要

本研究首次对4-bit量化在Gemma 4和Qwen 3.5等小型语言模型上的多语言性能损失进行了零样本评估,覆盖八种类型多样的语言。研究发现量化税在不同语言间极不平等,低资源和非拉丁文字语言出现结构性崩溃,而模型的基础语言(如英语、中文)也缺乏免疫性。多步逻辑推理受损严重,但联想记忆领域表现出量化抵抗性。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

The Multilingual Quantization Tax: Structural Collapse and Typological Fragility in Edge SLMs Abstract While 4-bit weight quantization is critical for deploying Small Language Models (SLMs) on edge devices, evaluations of the resulting performance degradation—the quantization tax—remain overwhelmingly English-centric. We present a zero-shot multilingual evaluation of 4-bit quantization across the Gemma 4 and Qwen 3.5 architectures. Evaluating on eight typologically diverse languages using MMLU P


发布时间:2026-08-12 12:00
抓取时间:2026-08-12 12:11
来源机构:arXiv
阅读原文arxiv.org