五号数据雷达

中国科学院计算技术研究所 本次发布的数据集 ASQA, ANTIQUE, Wikieval, 本文研究的数据集包括ASQA、ANTIQUE和Wikieval三个数据集，它们分别代表了模糊、事实和开放式问答的场景。这些数据集包含了由不同大型语言模型生成的5236个事实和非事实的长篇答案。其中，2079个答案经过了人工评估，主要关注正确性和信息性。该数据集旨在评估长篇问答（LFQA）的自动评估指标的有效性和鲁棒性，并与人工评估进行对比。数据集的创建过程包括从不同的LLM中收集答案，并使用人工评估来检验自动评估指标的准确性。数据集的应用领域是信息检索和问答系统，旨在解决长篇问答评估中存在的问题。

查看ASQA, ANTIQUE, Wikieval

README 内容： 

关于 中国科学院计算技术研究所 , 中国科学院计算技术研究所（ICT）成立于1956年，是中国最早从事计算机科学技术综合性研究的学术机构。该所致力于计算机科学理论、高性能计算、人工智能、网络与信息安全等领域的研究，培养了大批计算机领域的专家和学者，为中国计算机科学技术的发展做出了重要贡献。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。