比拉理工学院发布CricBench数据集,应用在板球分析、Text-to-SQL基准领域

比拉理工学院本次发布的数据集CricBench,CricBench是由比拉理工学院团队构建的首个专家级板球分析多语言Text-to-SQL基准数据集，包含200条高复杂度查询。该数据集基于标准化关系数据库架构，整合了Cricsheet的逐球记录数据，涵盖比赛、球员、击球事件等多维度表结构。通过板球分析师与SQL专家的协作，采用人工编写与第三方验证的严格流程确保逻辑正确性，特别设计了英语和印地语双语查询以反映真实语言使用场景。该数据集旨在评估LLMs在专业体育领域的模式推理能力，解决现有基准在领域特异性、多语言支持和复杂时序计算方面的不足。

查看CricBench

关于比拉理工学院,比拉理工学院（Birla Institute of Technology and Science，简称BITS）是印度一所著名的私立研究型大学，主校区位于拉贾斯坦邦的皮拉尼。该校以工程、科学和技术教育闻名，提供本科、研究生和博士课程。

关于arXiv,arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。