斯坦福大学 发布 RUPBench 数据集, 应用在 自然语言处理、模型评估 领域

斯坦福大学 本次发布的数据集 RUPBench, RUPBench是由斯坦福大学和Meta Platforms, Inc.合作创建的综合性基准数据集，旨在评估大型语言模型(LLMs)在多样化推理任务中的鲁棒性。该数据集包含15个推理数据集，分为常识、算术、逻辑和知识密集型推理四大类，并引入了九种类型的文本扰动，涵盖词汇、句法和语义层面，总计365,580个扰动样本。RUPBench通过模拟真实世界输入变化，评估了如GPT-4o、Llama3等先进LLMs在原始和扰动数据集上的表现，揭示了模型在面对多样化及噪声输入时的具体挑战和改进方向。该数据集的应用领域广泛，特别是在需要高可靠性和准确性的场景，如医疗健康、法律文档分析和自动客户服务等。

查看RUPBench

README 内容： 

关于 斯坦福大学 , 斯坦福大学是一所位于美国加州的世界顶尖私立研究型大学，以其在科技、工程、商业和法律等领域的卓越教学和研究而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。