IBM Research 发布 Debate Speech Evaluation Dataset 数据集, 应用在 辩论评估、自然语言处理 领域

IBM Research 本次发布的数据集 Debate Speech Evaluation Dataset, 辩论演讲评估数据集是IBM研究团队为了评估LLM判断能力而创建的。该数据集包含超过600个经过精心标注的辩论演讲，涵盖了各种话题。每个演讲都由15位经验丰富的人类评估者进行评分，以评估其是否为支持话题的良好开场白。数据集包括152个由人类专家辩论者撰写的演讲，以及479个由六种不同合成流程生成的演讲，这些合成流程包括基于摘要提取、论点挖掘、GPT-2生成、人类撰写论点拼接和自动辩论系统。该数据集旨在提供一个高质量的基准，用于评估LLM在辩论演讲评估任务上的判断能力。

查看Debate Speech Evaluation Dataset

Dataset card 内容： 

Files and versions 内容： 

关于 IBM Research , IBM Research是IBM公司的研发部门，致力于在多个科学和工程领域进行基础和应用研究，包括人工智能、量子计算、云计算等。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。