奈良先端科学技术大学院大学本次发布的数据集RedirectQA，RedirectQA是由奈良先端科学技术大学院大学和Future Corporation联合创建的实体问答数据集，旨在研究大语言模型通过不同实体表面形式访问相同事实知识的能力。该数据集包含30,560个表面实例，源自14,672个Wikidata事实三元组，通过维基百科重定向信息关联了实体的规范名称和多种变体形式。数据构建过程包括从Wikidata收集事实三元组、利用维基百科重定向注释实体表面形式，并使用关系特定模板生成问题。该数据集主要应用于评估大语言模型在实体不同表面形式下的非逐字记忆能力，揭示模型在事实访问中的表面形式依赖性。
Dataset card内容：
Files and versions内容：
_1769672084863.jpg)