弗吉尼亚大学发布CausalFlip数据集,应用在因果推理、大语言模型领域

弗吉尼亚大学本次发布的数据集CausalFlip,CausalFlip是由弗吉尼亚大学团队构建的因果推理基准数据集，旨在评估大语言模型基于因果结构而非语义关联的推理能力。该数据集包含三类因果结构问题（混杂因子、链式和碰撞结构），通过语义相似但标签对立的问题对设计，有效识别模型对虚假语义关联的依赖。数据生成过程采用事件三元组构建和模板化提问策略，包含基础/对立结构和默认/替代两种表述变体。其核心应用领域为提升LLM在医疗诊断、金融分析等高风险决策场景中的因果推理可靠性，解决传统基准测试无法揭示的语义模式依赖问题。

查看CausalFlip

README内容：

关于弗吉尼亚大学,弗吉尼亚大学（University of Virginia），简称UVA，位于美国弗吉尼亚州夏洛茨维尔，是一所享有盛誉的公立研究型大学。该校由美国第三任总统托马斯·杰斐逊于1819年创立，是美国历史上首个由美国政府资助的非营利性高等教育机构。UVA以其卓越的学术声誉、优秀的师资力量和丰富的校园文化而闻名，尤其在法学、商学、医学和工程学等领域具有显著影响力。

关于arXiv,arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。