延世大学 发布 HRMCR (HAE-RAE Multi-Step Commonsense Reasoning) 数据集, 应用在 语言模型、文化推理 领域

延世大学 本次发布的数据集 HRMCR (HAE-RAE Multi-Step Commonsense Reasoning), HRMCR数据集是由延世大学的研究团队创建的一个多步推理基准测试，旨在评估大语言模型在韩国文化背景下的推理能力。该数据集包含两个子集：Date和Zodiac，每个子集包含50个问题，总计100个问题。数据集通过模板和算法自动生成，要求模型在推理过程中整合韩国文化知识。数据集的应用领域主要集中在大语言模型的推理能力评估，特别是针对韩国文化和语言的多步推理任务。通过这一数据集，研究者可以更好地理解模型在复杂推理任务中的表现，并探索模型在文化特定背景下的推理能力。

查看HRMCR (HAE-RAE Multi-Step Commonsense Reasoning)

关于 延世大学 , 延世大学是韩国首尔的一所顶尖私立研究型大学，以其卓越的教育质量和国际化的学术环境著称。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。