穆罕默德·本·扎耶德人工智能大学 发布 Open-LLM-Leaderboard 数据集, 应用在 大型语言模型评估、人工智能 领域

穆罕默德·本·扎耶德人工智能大学 本次发布的数据集 Open-LLM-Leaderboard, Open-LLM-Leaderboard是由穆罕默德·本·扎耶德人工智能大学VILA实验室创建的一个用于评估大型语言模型（LLMs）的新型数据集。该数据集专注于通过开放式问题来评估模型，旨在消除选择偏差和随机猜测问题。数据集通过自动化的粗到细筛选协议和多阶段过滤过程来生成适合开放式回答的问题，并利用GPT-4进行问题筛选和评分。该数据集的应用领域主要集中在LLMs的性能评估和排名，以解决现有评估方法中的偏差和随机性问题。

查看Open-LLM-Leaderboard

README 内容： 

关于 穆罕默德·本·扎耶德人工智能大学 , 穆罕默德·本·扎耶德人工智能大学（Mohamed bin Zayed University of Artificial Intelligence, MBZUAI）是一所专注于人工智能领域的高等教育机构，位于阿联酋阿布扎比。该大学致力于培养全球领先的人工智能专家，推动人工智能技术的创新和应用。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。