IIIT Hyderabad 发布 HalluCounterEval 数据集, 应用在 自然语言处理、hallucination检测 领域

IIIT Hyderabad 本次发布的数据集 HalluCounterEval, HalluCounterEval数据集是由IIIT Hyderabad、TCS Research和University of Oslo共同创建的多领域大规模基准数据集，包含合成和人工标注的样本。该数据集旨在评估和开发无参考 hallucination 检测方法，涵盖多个领域的知识，包括事实性问题、推理和数学技能等。数据集通过多个LLM模型生成响应，经过规则过滤和标注，形成训练和测试数据集，用于训练分类器，检测hallucination并提供置信度分数和最优响应。

查看HalluCounterEval

README 内容： 

关于 IIIT Hyderabad , IIIT Hyderabad是印度的一个研究和教育机构，专注于信息技术和人工智能领域的研究与教学。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。