加州大学圣塔巴巴拉分校 发布 DUMB500 数据集, 应用在 简单问题评估、自然语言处理 领域

加州大学圣塔巴巴拉分校 本次发布的数据集 DUMB500, DUMB500是一个由加州大学圣塔巴巴拉分校研究团队创建的包含500个极其简单问题的数据集，涵盖数学、对话、编程和任务执行四个领域。该数据集旨在评估模型在简单问题上的准确性及效率，即模型是否能够给出简洁且正确的回答，而不过度生成不必要的tokens。

查看DUMB500

关于 加州大学圣塔巴巴拉分校 , 加州大学圣塔巴巴拉分校是美国著名的公立研究型大学，成立于1891年，位于加利福尼亚州的圣塔巴巴拉市。作为加州大学系统中十所分校之一，该校在物理学、化学、计算机科学等领域享有盛誉，其材料科学研究在全美乃至全球都有很高的排名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。