清华大学 发布 LLM-Rationality-Benchmark 数据集, 应用在 语言模型评估、理性基准测试 领域

清华大学 本次发布的数据集 LLM-Rationality-Benchmark, 该数据集是用于评估大型语言模型（LLMs）的理性程度，涵盖了广泛的领域和LLMs。数据集由清华大学团队创建，旨在为LLMs的开发者和用户提供一个基础评估工具，帮助优化和训练模型，并识别潜在的提升领域。数据集基于对各种理性评价的广泛文献回顾，将理性分为个体、人际和社会三个层面，涵盖了六个理性研究领域的评估。数据集包含了大量的问卷、测试和分析，以揭示LLMs在不同领域的理性程度，并提供了与人类理性的比较、跨领域分析、理论与实践分析、训练方法和模型参数对理性的影响以及个体与集体理性的关系等方面的详细评估结果。

查看LLM-Rationality-Benchmark

README 内容： 

关于 清华大学 , 清华大学，位于中国北京，是一所享誉全球的顶尖研究型大学，以其深厚的学术底蕴和杰出的科研能力而著称。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。