北京科技大学 发布 LEXBENCH 数据集, 应用在 语言模型评估、语义短语处理 领域

北京科技大学 本次发布的数据集 LEXBENCH, LEXBENCH是由北京科技大学计算机与通信工程学院和外国语学院的研究人员开发的一个全面评估套件，旨在测试语言模型在十种语义短语处理任务上的表现。该数据集是首个从比较角度提出框架的工作，用于模型通用语义短语（即词汇搭配）以及三种细粒度语义短语，包括成语表达、名词复合词和动词结构。LEXBENCH通过实验验证了规模法则，发现大型模型在大多数任务上优于小型模型，并通过人类评估发现，强模型的性能在语义短语处理方面可与人类水平相媲美。数据集的应用领域旨在提高语言模型在语义短语理解方面的通用能力，为未来的研究提供服务。

查看LEXBENCH

关于 北京科技大学 , 北京科技大学是一所以工为主，工、理、管、文、经、法等多学科协调发展的全国重点大学，是国家“211工程”和“双一流”建设高校。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。