明尼苏达大学 发布 CausalPitfalls 数据集, 应用在 机器学习、因果推理 领域

明尼苏达大学 本次发布的数据集 CausalPitfalls, CausalPitfalls是一个全新的、全面的基准测试，旨在评估大型语言模型（LLMs）在统计因果推理方面的可靠性。该基准测试特别关注模型对常见因果推理陷阱的易感性，包括混杂偏差和虚假关联、干预和实验推理、反事实推理和假设、中介和间接因果效应、因果发现和结构学习、因果泛化和外部有效性。CausalPitfalls包含15个不同的挑战，涵盖75个评估问题和75个精心构建的数据集，系统地测试LLM因果推理能力的鲁棒性。数据集通过模拟潜在结果来构造，每个数据集包含超过500个样本，用于全面评估。

查看CausalPitfalls

关于 明尼苏达大学 , 明尼苏达大学是一所位于美国明尼苏达州明尼阿波利斯和圣保罗的公立研究型大学，是美国大学协会的成员之一，提供广泛的本科、研究生和专业学位课程。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。