返回全部动态
CoT-Core：通过思维链感知的核心集选择加速 LLM 评估
原标题：CoT-Core: Accelerating LLM Evaluation via CoT-Aware Coreset Selection
AI 摘要
CoT-Core 是一种新的无需训练的 LLM 评估核心问题选择框架，通过提示 LLM 生成零样本思维链推理轨迹，并在潜在空间中对问题进行聚类，以逻辑等价性而非表面文本相似性进行选择。在 GSM8K、MMLU、MMLU-Pro 和 GPQA 上的实验表明，CoT-Core 能大幅降低评估成本，同时保持高保真度分数估计，且其有效性受任务复杂度的限制。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
Computer Science > Artificial Intelligence Title:CoT-Core: Accelerating LLM Evaluation via CoT-Aware Coreset Selection View PDF HTML (experimental) Abstract:Evaluating Large Language Models (LLMs) incurs prohibitive computational overhead during continuous development processes. While coreset selection accelerates evaluation, existing methods either suffer from a severe ``cold start'' bottleneck requiring massive historical logs (e.g., Item Response Theory) or exhibit a surface lexic
发布时间：2026-08-04 12:00
抓取时间：2026-08-04 12:07
来源机构：arXiv