Internal crowd-sourcing platform 发布 HaDes 数据集, 应用在 文本生成、幻觉检测 领域

Internal crowd-sourcing platform 本次发布的数据集 HaDes, 该数据集名为HaDes，是一个专为自由文本生成中的词级、无需参考的幻觉检测而设计的标注数据集。它由源自英文维基百科文章的扰动文本片段组成，并标注了识别幻觉的部分。在创建此数据集时，研究者们通过扰动维基百科原文，并采用众包标注的方式进行。为了在标注过程中缓解标签不平衡的问题，还采用了迭代模型循环策略。该数据集大约包含了100万个扰动文本片段，其任务是针对文本生成中的幻觉检测。

查看HaDes

README 内容： 

关于 Internal crowd-sourcing platform , -

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。