浙江大学 发布 SKA-Bench 数据集, 应用在 自然语言处理、知识图谱 领域

浙江大学 本次发布的数据集 SKA-Bench, SKA-Bench是一个结构化知识增强问答数据集，旨在全面评估大型语言模型（LLMs）对结构化知识（如知识图谱和表格）的理解能力。该数据集包含921个实例，涵盖了四种广泛使用的结构化数据形式：知识图谱、表格、知识图谱+文本和表格+文本。SKA-Bench实例由一个问题、一个答案、正知识单元和噪声知识单元组成。为了评估LLMs在理解结构化知识方面的能力，我们将这些实例扩展为四个基本能力测试平台：噪声鲁棒性、顺序无关性、信息整合和负拒绝。通过在8个代表性LLMs上进行实证评估，我们发现现有的LLMs在理解结构化知识方面仍然面临重大挑战，其性能受到噪声量、知识单元顺序和幻觉现象等因素的影响。我们的数据集和代码可以在https://github.com/Lza12a/SKA-Bench上获取。

查看SKA-Bench

README 内容： 

关于 浙江大学 , 浙江大学是中国的一所综合性大学，位于浙江省杭州市。学校成立于1897年，是中国历史最悠久、最有影响力的大学之一。浙江大学在计算机科学、软件工程等多个领域都有显著的研究成果和国际影响力。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。