Amazon AGI 发布 GaRAGe 数据集, 应用在 自然语言处理、机器学习评估 领域

Amazon AGI 本次发布的数据集 GaRAGe, GaRAGe是一个大型的RAG基准测试数据集，包含由人类编辑的长篇答案和每个 grounding 段落的注释，这使得可以细致地评估LLM在生成RAG答案时能否识别出相关的 grounding。该数据集包含2366个具有多样复杂性、动态性和主题的问题，并包括从私人文档集和Web上检索的超过35K个注释段落，以反映现实世界的RAG使用案例。这使得它成为一个理想的测试平台，用于评估LLM识别仅必要的相关信息来编写答案的能力，或者在没有足够信息时提供回避性回答的能力。

查看GaRAGe

README 内容： 

关于 Amazon AGI , 亚马逊AGI是指亚马逊公司在人工智能领域的研究和开发工作，专注于推动人工智能技术的发展，包括机器学习、自然语言处理等前沿技术。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。