Oracle AI 发布 SweEval 数据集, 应用在 自然语言处理、敏感内容评估 领域

Oracle AI 本次发布的数据集 SweEval, SweEval是一个跨语言的基准数据集，用于评估大型语言模型（LLM）在处理敏感语言时的表现。该数据集由多个现实世界场景组成，包括不同的写作风格和语境。数据集包含针对企业和非正式语境的手动创建的指令提示，以及25个来自高资源和低资源语言的咒骂词。这些咒骂词被整合到英语提示中，以评估模型对当地语言细微差别和文化敏感性的理解。SweEval旨在帮助研究人员开发符合道德标准的AI系统，特别是在企业和跨文化环境中。

查看SweEval

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。