SkillEval：用认知诊断模型学习LLM可解释能力画像
原标题：SkillEval: Learning Interpretable Ability Profiles of LLMs via Cognitive Diagnosis Models
AI 摘要
研究者提出 SkillEval 评估框架，利用 LLM 的元认知能力从题目中自动发现可解释技能，并借助心理测量学中的认知诊断模型（CDM）估计模型在各技能上的能力。该框架在覆盖 MATH、BBH、GPQA、MuSR、IFEval 五个基准的 3,811 个模型、9,523 道题、3600 万条作答记录上实验，相比传统平均分评估能更准确预测模型在未见题目上的表现。在下游任务中，SkillEval 用于 LLM 路由可降低超过 60% 推理成本并提升性能，还可支持计算机自适应测试高效评估新模型。
正文节选
SkillEval: Learning Interpretable Ability Profiles of LLMs via Cognitive Diagnosis Models Abstract Current evaluation of LLMs on benchmarks typically aggregates performance over individual examples into a single scalar score. This approach is overly coarse and ignores the diverse scope of skills covered by benchmark datasets. To address this limitation and better exploit benchmark data, we propose SkillEval, a new evaluation framework that performs cross-model, skill-level analysis. The framewor