斯洛伐克技术大学发布SommBench数据集,应用在侍酒师、多语言评估领域

斯洛伐克技术大学本次发布的数据集SommBench,SommBench是一个多语言基准测试数据集，由专业侍酒师和母语人士合作开发，旨在评估语言模型在侍酒师专业知识领域的表现。数据集包含3024个示例，分为三个主要任务：葡萄酒理论问答（WTQA）、葡萄酒特征补全（WFC）和食物-葡萄酒配对（FWP），涵盖英语、斯洛伐克语、瑞典语、芬兰语、德语、丹麦语、意大利语和西班牙语。数据集的创建过程包括从专业侍酒师考试中提取问题、从零售商网站解析葡萄酒属性以及由侍酒师验证食物-葡萄酒配对。SommBench适用于评估语言模型在跨语言和文化背景下的专业领域知识应用能力，特别是在需要结合感官描述和文化知识的复杂任务中。

查看SommBench

关于斯洛伐克技术大学,斯洛伐克技术大学是斯洛伐克最著名的理工类高等教育机构之一，成立于1937年，位于首都布拉迪斯拉发。该校提供工程、建筑、材料科学等多个领域的教育和研究。

关于arXiv,全球最大的预印本学术论文数据库，涵盖物理、数学、计算机科学等多个学科领域。