爱丁堡大学 发布 HyGenar数据集 数据集, 应用在 自然语言处理、机器学习评估 领域

爱丁堡大学 本次发布的数据集 HyGenar数据集, HyGenar数据集是一个用于评估大型语言模型（LLM）在少量样本上进行语法生成的数据集。该数据集包含540个结构化的语法生成挑战，每个挑战由3个正例和3个反例组成。数据集旨在研究LLM从少量正反例中推断和生成语法的能力，并用于评估8种不同LLM的性能。HyGenar数据集为LLM在语法生成方面的研究提供了重要的数据基础，并有助于推动相关领域的发展。

查看HyGenar数据集

README 内容： 

关于 爱丁堡大学 , 爱丁堡大学是一所位于英国苏格兰首府爱丁堡的世界著名公立综合研究型大学，拥有悠久的历史和卓越的学术声誉。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。