香港理工大学 发布 QualBench 数据集, 应用在 中文问答系统、垂直领域评估 领域

香港理工大学 本次发布的数据集 QualBench, QualBench是一个专注于垂直领域评估的多领域中文问答数据集，它包含了来自六个垂直领域的超过17,000个问题，数据选择基于24个中国资格认证，以紧密贴合国家政策和行业标准。该数据集通过专业资格认证考试进行评估，旨在为垂直领域提供全面的知识评估。通过实验，发现Qwen2.5模型在评估中优于GPT-4o，表明中文LLMs在满足资格认证要求方面的优势。此外，该数据集揭示了模型在垂直领域覆盖方面的当前差距，并为未来研究提出了多领域RAG知识增强和垂直领域LLM训练的联邦学习机会。

查看QualBench

关于 香港理工大学 , 香港理工大学是一所位于中国香港的公立综合性研究型大学，以其科研实力和学术成就而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。