帝国理工学院 发布 Rational Probabilistic Belief (RPB) dataset 数据集, 应用在 概率推理、语言模型评估 领域

帝国理工学院 本次发布的数据集 Rational Probabilistic Belief (RPB) dataset, RPB数据集是一个由帝国理工学院构建的合成数据集，包含517个具有不确定真值的主张及其补数、特化版本和泛化版本，共计2068个样本。数据集中的主张是通过对GPT-4o模型进行提示生成的，旨在评估大型语言模型在概率推理方面的能力。数据集应用于测试LLM模型对概率推理的基本原则（如补数性、单调性）的遵守程度，以评估模型的不确定性量化能力。

查看Rational Probabilistic Belief (RPB) dataset

README 内容： 

关于 帝国理工学院 , 帝国理工学院是英国一所世界顶级的科技与医学研究型大学，以科学、工程、医学和商学领域的卓越教育和研究而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。