印度理工学院孟买分校 发布 Pragmatics Understanding Benchmark (PUB) 数据集, 应用在 语用理解、语言模型评估 领域

印度理工学院孟买分校 本次发布的数据集 Pragmatics Understanding Benchmark (PUB), Pragmatics Understanding Benchmark (PUB) 是一个专为评估大型语言模型（LLMs）在语用理解能力上的基准数据集。由印度理工学院孟买分校的CFILT实验室创建，PUB包含14个任务，覆盖四种语用现象：含意、预设、指称和指示。数据集总计28,000个数据点，其中6,100个为新注释数据，其余来自现有数据集的改编。PUB通过多选题答案（MCQA）形式，旨在全面评估LLMs处理需要语用推理的实际语言任务的能力。该数据集的应用领域广泛，包括对话系统、搜索引擎优化等，旨在解决模型在理解人类对话中的隐含意义和预设方面的挑战。

查看Pragmatics Understanding Benchmark (PUB)

Dataset card 内容： 

Files and versions 内容： 

关于 印度理工学院孟买分校 , 印度理工学院孟买分校（IIT Bombay）是印度著名的技术与工程研究型大学，位于孟买市，是印度理工学院系统的一部分。该校以其在工程、科学和技术领域的卓越研究和教育而闻名，培养了大量科技人才，对印度的科技发展做出了重要贡献。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。