基于提示语言特征预测LLM性能：需求工程实证研究
原标题：Predicting LLM Performance from Prompt Linguistic Features: An Empirical Study in Requirements Engineering
AI 摘要
西班牙加泰罗尼亚理工大学等机构的研究人员针对需求工程中的二元需求分类任务，生成了9000个受控语言变体提示，并使用五个开源LLM在625条标注需求上评估，发现提示的句法和形态句法特征能显著预测LLM性能。该研究为提示工程提供了低成本的事前评估方法，并指出词汇多样性并非提示质量的有效维度。
正文节选
Universitat Politècnica de Catalunya, Barcelona, Spainjoaquim.motger@upc.edu ItaliaNLP Lab, Istituto di Linguistica Computazionale “A. Zampolli” (CNR-ILC), Pisa, Italy Universitat Politècnica de Catalunya, Barcelona, Spain University of Padua, Padua, Italy University College Dublin, Dublin, Ireland {CCSXML}¡ccs2012¿ ¡concept¿ ¡concept_id¿10002944.10011123.10010912¡/concept_id¿ ¡concept_desc¿General and reference Empirical studies¡/concept_desc¿ ¡concept_significance¿500¡/concept_significance¿ ¡/