亚马逊公司 发布 Shopping MMLU 数据集, 应用在 在线购物、语言模型评估 领域

亚马逊公司 本次发布的数据集 Shopping MMLU, Shopping MMLU是一个大规模的多任务在线购物基准数据集，由亚马逊公司创建，旨在全面评估大型语言模型（LLMs）在在线购物领域的多任务处理能力。该数据集包含57个任务，涵盖概念理解、知识推理、用户行为对齐和多语言能力四大购物技能，共有20,799个问题。数据集的创建过程基于真实的亚马逊数据，并通过重新制定任务为文本生成任务来适应LLM的解决方案。Shopping MMLU的应用领域主要是在线购物助手，旨在通过减少任务特定的工程努力和提供用户互动对话来改善在线购物体验。

查看Shopping MMLU

README 内容： 

关于 亚马逊公司 , 亚马逊公司是一家全球性的电子商务和云计算公司，总部位于美国华盛顿州的西雅图。公司成立于1994年，最初以在线书店起家，后来扩展到销售各种商品和服务，包括电子产品、家居用品、服装、食品等。亚马逊还提供云计算服务，即亚马逊网络服务（AWS），是全球最大的云服务提供商之一。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。