谷歌研究院 发布 MiQA (Metaphorical Inference Questions and Answers) 数据集, 应用在 语言模型评估、隐喻推理 领域

谷歌研究院 本次发布的数据集 MiQA (Metaphorical Inference Questions and Answers), MiQA是由谷歌研究院苏黎世团队创建的一个用于评估大型语言模型在处理常规隐喻推理能力的基准数据集。该数据集包含300个问题，这些问题结合了隐喻检测和常识推理，要求模型在未明确指出上下文是字面意义还是隐喻意义的情况下进行正确推理。数据集的构建基于概念隐喻理论（CMT），使用了一系列代表性的基本隐喻，并与字面陈述进行对比配对。MiQA的应用领域主要集中在测试和提升语言模型在处理隐喻和抽象概念推理的能力，旨在解决模型在理解复杂人类语言表达方面的挑战。

查看MiQA (Metaphorical Inference Questions and Answers)

关于 谷歌研究院 , 谷歌研究院是谷歌公司旗下的研究机构，致力于推动计算机科学和相关领域的创新研究，涵盖人工智能、机器学习、数据挖掘等多个前沿领域。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。