南卡罗来纳大学 发布 Two Word Test (TWT) 数据集, 应用在 语义理解、语言模型评估 领域

南卡罗来纳大学 本次发布的数据集 Two Word Test (TWT), Two Word Test (TWT) 是由南卡罗来纳大学的心理学系创建的一个开源数据集，用于评估大型语言模型（LLMs）的语义理解能力。该数据集包含1768个名词-名词组合，这些组合被150名人类参与者评定为有意义或无意义。TWT旨在通过简单的双词组合来测试LLMs的语义判断能力，不依赖于逻辑推理、规划或解谜等复杂任务。数据集的创建过程涉及从大量文本中筛选和生成双词组合，并通过人类评估来确定其意义性。TWT的应用领域主要集中在评估和改进LLMs的语义理解能力，特别是在区分有意义和无意义的语言组合方面。

查看Two Word Test (TWT)

README 内容： 

关于 南卡罗来纳大学 , 南卡罗来纳大学（University of South Carolina）是一所位于美国南卡罗来纳州哥伦比亚市的公立研究型大学，成立于1801年。该校提供广泛的本科、研究生和博士课程，涵盖了人文、社会科学、自然科学、工程、商业等多个领域。南卡罗来纳大学在多个学科领域具有较高的研究水平和学术声誉。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。