韩国科学技术院 发布 证据数据集（Evidence Dataset） 数据集, 应用在 自然语言处理、机器学习评估 领域

韩国科学技术院 本次发布的数据集 证据数据集（Evidence Dataset）, 该数据集是为了研究语言模型在面对不同类型和可靠性的证据时的置信度和响应变化。数据集包含从SciQ、TriviaQA和GSM8K数据集中生成的各种证据类型，例如与问题一致的黄金证据、包含错误信息的冲突证据、不完整证据、矛盾证据、不相关证据和偶然证据。数据集还考虑了证据的可靠性因素，如来源的可信度、详细程度、时效性和实验性。该数据集旨在帮助理解为什么LLMs偏离贝叶斯认识论，并评估LLMs在处理不同类型和强度证据时的表现。

查看证据数据集（Evidence Dataset）

README 内容： 

关于 韩国科学技术院 , 韩国科学技术院（KAIST）是韩国的一所研究型大学，致力于在科学和技术领域进行教育和研究，其人工智能系在人工智能领域具有较高的研究水平和国际影响力。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。