Large Model Systems Organization 发布 arena-hard-auto-v0.1 数据集, 应用在 自然语言处理、模型评估 领域

Large Model Systems Organization 本次发布的数据集 arena-hard-auto-v0.1, Arena-Hard-Auto-v0.1是一个自动评估工具，用于评估指令调优的大型语言模型（LLMs）。它包含500个来自Chatbot Arena的具有挑战性的用户查询，并通过提示GPT-4-Turbo作为评判，将模型的响应与基准模型（默认：GPT-4-0314）进行比较。该数据集在流行的开放式LLM基准测试中具有最高的相关性和可分性。

查看arena-hard-auto-v0.1

Dataset card 内容： 

Files and versions 内容： 

关于 Large Model Systems Organization , Large Model Systems Organization（LMSYS Org）是一个开放式研究组织。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。