返回全部动态
人类可读文本对LLM微调是否必要？DASA方法研究
原标题：Is Human-Readable Text Necessary for Effective LLM Fine-Tuning?
AI 摘要
该研究提出 DASA 方法，利用冻结参考模型的激活梯度反馈来优化连续合成输入嵌入，从而构建不依赖人类可读文本的微调数据。在 Llama 和 Qwen 系列 1B 至 32B 的六个模型、覆盖知识、数学推理、代码生成和常识推理的六个基准上，DASA 在匹配 LoRA 设置下达到与原始自然语言数据相当甚至更优的性能，并在多数比较中优于 GRADMM，同时实现加速。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
Is Human-Readable Text Necessary for Effective LLM Fine-Tuning? Abstract Is human readability necessary for effective fine-tuning of large language models? We investigate whether model-conditioned training representations can preserve or improve adaptation utility without requiring a human-readable textual form. We propose Desired-Update-Aligned Synthetic Data (DASA), which uses activation-gradient feedback from a frozen reference model to guide the optimization of continuous synthetic input emb
发布时间：2026-09-30 12:00
抓取时间：2026-09-30 12:07
来源机构：arXiv