返回全部动态

OpenCompass 发布 v0.5.5:新增多领域评测基准并重构文档与 CI

原标题:0.5.5

OpenCompass Releases一手来源开源质量 71

AI 摘要

OpenCompass 发布 v0.5.5 版本,新增 CritPt、General365、AA-OmniScience、AA-LCR v1.1、HLE-Diamond、arena-hard-v2、ReasonZoo、MaritimeBench、WMT19 等覆盖物理、推理、长上下文、对齐、幻觉、生物医学、翻译和多模态评测的基准,并通过 VLMEvalKit 引入 ChartQAPro、MicroVQA 等数据集。该版本重构了中英文文档与 CI,移除 Python 3.8 支持并修复 Python 3.9 兼容性,同时修复了 OpenAI 系列模型的推理解析、数据集加载与下载等问题。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

# OpenCompass v0.5.5 Release Notes ## 🌟 Highlights ✨ **Integrated More Benchmarks:** Integrated new benchmarks spanning physics, reasoning, long-context, alignment, hallucination, maritime, biomedical, translation and multimodal evaluation, including CritPt, General365, AA-OmniScience v1.0 and v1.1, AA-LCR v1.1, HLE-Diamond, arena-hard-v2, ReasonZoo, LG-Bench, CHHallu-Src, GrandPhysics, PromptCBLUE Life Science, MaritimeBench, WMT19, LogiQA and ethics, plus ChartQAPro, MicroVQA, SFE and Sc


发布时间:2026-11-06 16:08
抓取时间:2026-11-06 16:44
来源机构:Shanghai AI Laboratory
阅读原文github.com