Skoltech 发布 EverGreenQA 数据集, 应用在 自然语言处理、多语言问答 领域

Skoltech 本次发布的数据集 EverGreenQA, EverGreenQA是一个多语言QA数据集，包含7种语言共4757个例子，旨在评估和改进大型语言模型（LLMs）在问答任务中的表现。数据集包括真实用户查询，每个查询都被标记为永恒性或可变性，并附带相应的答案。EverGreenQA用于评估12个现代LLMs是否能够显式或隐式地识别问题的永恒性。此外，论文还介绍了EG-E5，这是一个轻量级的多语言分类器，用于识别永恒性问题，并在三个应用中展示了其实用性：提高自我知识估计、过滤QA数据集以及解释GPT-4o的检索行为。

查看EverGreenQA

Dataset card 内容： 

Files and versions 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。