Projecte Aina 发布 veritasQA 数据集, 应用在 语言模型评估、QA基准 领域

Projecte Aina 本次发布的数据集 veritasQA, VeritasQA是一个用于评估语言模型真实性的上下文和时间无关的QA基准。它旨在用于在零样本设置中评估大型语言模型的真实性。VeritasQA包含353个问题-答案对，灵感来自常见的误解和虚假信息，不特别与任何特定国家或近期事件相关。该数据集基于TruthfulQA基准构建，并手动修订以修改或删除与特定上下文和时间敏感信息相关的实例，以及科学证据不足的信息。VeritasQA由巴塞罗那超级计算中心的语言技术部门开发，作为Projecte AINA和Desarrollo Modelos ALIA项目的一部分。该数据集在加泰罗尼亚语、西班牙语、加利西亚语和英语中可用，并根据Creative Commons Attribution-ShareAlike 4.0国际许可证授权。

查看veritasQA

Dataset card 内容： 

Files and versions 内容： 

关于 Projecte Aina , Projecte Aina是一个致力于推动人工智能技术研究和应用的组织。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。