苏州大学 发布 UAQFact 数据集, 应用在 自然语言处理、机器学习评估 领域

苏州大学 本次发布的数据集 UAQFact, UAQFact 是一个用于评估大型语言模型（LLMs）在处理无法回答的问题（UAQ）时利用事实知识能力的数据集。它是一个包含辅助事实知识的中英文双语数据集，由知识图谱创建。该数据集包含 6,985 个 UAQ 和相同数量的可回答问题（ABQ），总计 13,970 个问题。此外，还构建了 8,686 个与 UAQ 相关的知识问题和 13,970 个推理线索作为外部知识，以支持深入评估。UAQFact 是现有数据集中最大的无法回答的问题数据集，并且是第一个具有辅助事实知识的数据集，这使得对 LLMs 的深入评估成为可能。UAQFact 的创建旨在解决 LLMs 在面对 UAQ 时可能提供误导性回答的问题。

查看UAQFact

README 内容： 

关于 苏州大学 , 苏州大学是中国江苏省苏州市的一所综合性大学，拥有多个学院和研究机构，致力于科学研究与人才培养。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。