Facebook AI Research 发布 KILT 数据集, 应用在 知识密集型语言任务、基准测试 领域

Facebook AI Research 本次发布的数据集 KILT, KILT数据集是由Facebook AI Research创建的，旨在为知识密集型语言任务提供一个统一的基准。该数据集包含约320万条实例，所有数据均基于2019年8月的Wikipedia快照，确保了数据的一致性和可比性。KILT涵盖了五个不同的任务领域，包括事实检查、开放领域问答、槽填充、实体链接和对话系统。数据集的设计允许研究者开发和评估能够访问特定知识源的模型，特别是在大型文本资源中。此外，KILT还提供了多种评估指标和工具，以支持对模型性能的全面评估，特别是在模型提供输出证明的能力方面。

查看KILT

README 内容： 

关于 Facebook AI Research , Facebook AI Research（FAIR）是Facebook公司旗下的一个专注于人工智能研究的实验室，致力于推动人工智能技术的前沿发展，包括机器学习、自然语言处理、计算机视觉等领域的研究。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。