清华大学深圳国际研究生院 发布 LatEval 数据集, 应用在 横向思维评估、大型语言模型 领域

清华大学深圳国际研究生院 本次发布的数据集 LatEval, LatEval是一个评估大型语言模型横向思维能力的数据集，由清华大学深圳国际研究生院创建。该数据集包含325个高质量样本，来源于多种横向思维谜题网站，涵盖了不完整的故事和真相。创建过程中，通过人工和模型注释筛选和标注关键线索，确保数据集的无害性和挑战性。LatEval旨在通过交互式框架评估模型在提出非传统问题和整合信息以推理真相方面的能力，适用于评估AI助手的横向思维能力。

查看LatEval

README 内容： 

关于 清华大学深圳国际研究生院 , 清华大学深圳国际研究生院是清华大学在深圳设立的研究生教育机构，致力于培养高层次创新人才，推动科技创新和产业发展。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。