宾夕法尼亚州立大学 发布 SciFaultyQA 数据集, 应用在 自然语言处理、AI模型评估 领域

宾夕法尼亚州立大学 本次发布的数据集 SciFaultyQA, SciFaultyQA是一个专门用于评估大型语言模型（LLMs）识别和处理科学问题中错误能力的数据集。该数据集包含1333条科学问题，其中问题被故意设计为存在逻辑或科学上的错误。数据集的创建过程采用了GAN风格的合成数据生成方法，通过多个LLMs生成和验证错误问题。SciFaultyQA旨在解决LLMs在面对错误问题时无法识别其错误性质的问题，并为未来AI模型的基准测试提供新的方法。

查看SciFaultyQA

README 内容： 

关于 宾夕法尼亚州立大学 , 宾夕法尼亚州立大学是一所位于美国宾夕法尼亚州的著名公立研究型大学，以其在工程、商科和生命科学等领域的卓越研究和教学质量而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。