澳门大学 发布 DetectRL 数据集, 应用在 大型语言模型、文本检测 领域

澳门大学 本次发布的数据集 DetectRL, DetectRL数据集由澳门大学的NLP2CT实验室创建，旨在评估大型语言模型生成文本的检测能力。该数据集包含100,800条样本，涵盖学术、新闻、创意写作和社会媒体等多个领域。数据集通过使用多种攻击方法模拟真实世界的检测场景，包括提示攻击、改写攻击和扰动攻击。创建过程涉及从arXiv、XSum、Writing Prompts和Yelp Reviews等数据源收集人类写作样本，并使用GPT-3.5-turbo、PaLM-2-bison、Claude-instant和Llama-2-70b等模型生成相应的LLM文本。DetectRL数据集主要用于评估检测器在实际应用中的鲁棒性和泛化能力，旨在解决LLM生成文本的误用和欺诈问题。

查看DetectRL

README 内容： 

关于 澳门大学 , 澳门大学是澳门特别行政区唯一的公立综合性大学，成立于1981年，提供本科、硕士和博士学位课程，涵盖人文、社会科学、自然科学、工程、医学等多个领域。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。