System One 模型在印尼区域语言上的校准与迁移评估
原标题：Does System One Transfer? Calibrated Typed-Decision Models, Label Budgets, and Translation for Indonesian Regional Languages
AI 摘要
该研究对商业模型 Jev 和开源模型 Laya-multilingual 在印尼区域语言上进行了预注册评估，使用 NusaX 和 NusaTranslation 平行测试集。结果显示 Jev 在词汇上更接近印尼语的句子上准确率更高，提供印尼语翻译可提升准确率最多 37.2 个百分点；其校准误差未增长但错误排序能力下降。重训练分类器需每语言超过 500 个标签才能匹配零样本 Jev，而置信度门控级联可匹配或超越两者并降低 API 成本。
正文节选
[Page 1] Does System One Transfer? Calibrated Typed-Decision Models, Label Budgets, and Translation for Indonesian Regional Languages Romi Fadli*, Rusdah, Wahyu Ramadani Putri Utami, Zulfa Malika Amana Faculty of Information Technology, Universitas Budi Luhur, Jakarta, Indonesia *Corresponding author: Romi Fadli (2511600872@student.budiluhur.ac.id) Rusdah: rusdah@budiluhur.ac.id; Wahyu Ramadani Putri Utami: 2611600301@student.budil