韩国NCSOFT公司 发布 Arena-Hard-Auto 数据集, 应用在 语言模型、生成能力评估 领域

韩国NCSOFT公司 本次发布的数据集 Arena-Hard-Auto, Arena-Hard-Auto是一个用于评估大型语言模型（LLMs）生成能力的基准数据集。该数据集通过自动化LLM评判系统，利用参考响应来对LLMs进行排名。数据集包含预定义的测试提示和参考输出，用于评估LLM的响应质量。创建过程涉及使用LLM作为评判，比较LLM的输出与参考输出，以确定生成能力。该数据集主要应用于LLM的生成能力评估，旨在解决LLM在生成任务中的性能排序问题。

查看Arena-Hard-Auto

关于 韩国NCSOFT公司 , NCSOFT是一家总部位于韩国的全球性游戏公司，主要从事在线游戏的开发和发行，以其大型多人在线角色扮演游戏（MMORPG）如《天堂》和《剑灵》而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。