北京大学 发布 ChemCoTBench 数据集, 应用在 化学信息学、自然语言处理 领域

北京大学 本次发布的数据集 ChemCoTBench, ChemCoTBench是一个用于评估大型语言模型（LLM）在化学应用中的推理能力的基准数据集。它通过将复杂的化学任务分解为一系列可验证的模块化化学操作来评估LLM的推理能力。数据集包含1495个样本，涵盖了22个化学任务，包括分子理解、编辑、优化和反应预测。该数据集的创建旨在解决现有化学基准数据集缺乏推理和应用导向任务的局限性。

查看ChemCoTBench

Dataset card 内容： 

Files and versions 内容： 

关于 北京大学 , 北京大学是中国著名的高等学府，成立于1898年，原名京师大学堂，是中国最早的国立综合性大学，也是中国现代高等教育的开端。它位于中国首都北京市，是直属于中华人民共和国教育部的副部级大学，被公认为中国的顶级学府之一。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。