印度理工学院孟买分校 发布 BhashaBench V1 数据集, 应用在 印度知识系统、语言模型评估 领域

印度理工学院孟买分校 本次发布的数据集 BhashaBench V1, BhashaBench V1是一个全面的、针对印度知识系统的特定领域、多任务、双语基准，旨在评估大型语言模型在印度特定知识系统上的能力。该数据集包含74,166个精心策划的问题-答案对，其中52,494个用英语，21,672个用印地语，来自真实的政府和特定领域的考试。它涵盖了四个主要领域：农业、法律、金融和阿育吠陀，包括90多个子领域和500多个主题，使得细粒度评估成为可能。BhashaBench V1为评估大型语言模型在印度多样化的知识领域提供了全面的数据集，它使评估模型将特定领域的知识与双语理解相结合的能力成为可能。

查看BhashaBench V1

关于 印度理工学院孟买分校 , 印度理工学院孟买分校是位于印度孟买的一所著名研究型大学，是印度理工学院系统中的一员，以其在工程、科学和管理学领域的教育和研究而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。