香港中文大学 发布 UALIGN 数据集, 应用在 自然语言处理、知识问答 领域

香港中文大学 本次发布的数据集 UALIGN, UALIGN数据集是由香港中文大学、华为诺亚方舟实验室等机构联合创建的知识问答数据集，旨在通过不确定性估计来提升大语言模型（LLMs）的事实表达能力。该数据集通过采样多个响应并计算置信度和语义熵来捕捉知识边界，从而帮助模型更好地表达已知事实并拒绝未知问题。数据集的创建过程包括对知识问答对的多次采样和不确定性度量，最终用于训练奖励模型和进行事实对齐。UALIGN数据集主要应用于提升LLMs在事实表达上的准确性和可靠性，特别是在处理模糊知识边界时，帮助模型避免幻觉问题。

查看UALIGN

README 内容： 

关于 香港中文大学 , 香港中文大学是一所位于中国香港特别行政区的公立研究型大学，成立于1963年，提供多元化的本科和研究生课程，并在多个学科领域享有国际声誉。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。