德国比勒费尔德大学 发布 FLEX Benchmark 数据集, 应用在 自然语言处理、模型评估 领域

德国比勒费尔德大学 本次发布的数据集 FLEX Benchmark, FLEX Benchmark数据集由德国比勒费尔德大学计算语言学系创建，包含1104条针对大型语言模型（LLMs）处理错误预设的测试数据。数据集以德语编写，涵盖政治领域的虚假信息预设，旨在评估LLMs在处理和识别错误预设方面的能力。数据集的创建过程基于语言学预设分析，通过设计实验条件，包括预设触发类型、嵌入上下文和场景可能性，来系统地研究LLMs对这些预设的敏感性和反应。该数据集对于研究LLMs在处理政治信息时的真实世界应用具有重要意义，有助于揭示LLMs在预设处理中的潜在风险，并提高LLMs在识别和拒绝虚假信息方面的能力。

查看FLEX Benchmark

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。