阿里巴巴集团未来实验室 发布 Chinese SafetyQA 数据集, 应用在 大型语言模型、安全知识评估 领域

阿里巴巴集团未来实验室 本次发布的数据集 Chinese SafetyQA, Chinese SafetyQA是一个专门为评估大型语言模型（LLMs）在安全知识方面的短形式事实性基准数据集。该数据集由中国阿里巴巴集团未来实验室开发，涵盖了七个主要的安全领域，包括法律框架、伦理标准等。数据集包含2000个高质量的安全示例，分为问答（QA）和多选题（MCQ）两种格式，旨在全面评估LLMs在处理安全相关问题时的准确性和稳健性。数据集的创建过程包括从搜索引擎和官方网站收集种子示例，通过GPT4o进行数据增强和QA对生成，并经过多轮验证和人工标注确保数据质量。该数据集主要用于评估和提升LLMs在法律、政策和伦理等领域的安全知识能力，旨在解决模型在处理安全问题时可能产生的幻觉和错误。

查看Chinese SafetyQA

关于 阿里巴巴集团未来实验室 , 阿里巴巴集团未来实验室是阿里巴巴集团旗下的研究机构，专注于前沿科技的探索与创新，涵盖人工智能、大数据、云计算等领域，致力于推动技术进步和产业升级。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。