NTT公司 发布 ToMATO 数据集, 应用在 心理理论、大型语言模型 领域

NTT公司 本次发布的数据集 ToMATO, ToMATO是由NTT公司开发的一个心理理论（ToM）基准数据集，旨在通过LLM-LLM对话生成多样化的心理状态数据。该数据集包含5400个问题、753个对话和15种人格特质模式，涵盖了信念、意图、欲望、情感和知识五类心理状态。数据集的生成过程通过信息不对称的设计，促使角色扮演的LLM在对话中表达其心理状态，从而生成虚假信念。ToMATO的应用领域主要集中在评估大型语言模型的心理理论能力，尤其是对虚假信念的理解和对多样化人格特质的鲁棒性。该数据集为研究LLM在真实社交场景中的表现提供了重要参考。

查看ToMATO

README 内容： 

关于 NTT公司 , NTT公司是日本最大的电信公司，提供广泛的通信服务，包括固定电话、移动通信、互联网和数据服务。NTT在全球范围内拥有多个子公司和合作伙伴，致力于推动全球通信技术的发展。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。