微软研究院 发布 RADDLE 数据集, 应用在 对话系统评估、鲁棒性分析 领域

微软研究院 本次发布的数据集 RADDLE, RADDLE是一个专为评估和分析面向任务的对话系统而设计的基准数据集，由微软研究院创建。该数据集包含多个领域的对话任务，旨在评估模型在有限训练数据下的泛化能力和对用户输入不同风格、模态或领域的鲁棒性。RADDLE通过包括具有有限训练数据的任务，鼓励模型发展强大的泛化能力，并提供了一个诊断检查清单，以促进对语言变化、语音错误、未见实体和域外话语等方面的详细鲁棒性分析。此外，RADDLE还提供了一个在线平台，用于模型的评估、比较和鲁棒性分析，旨在解决现有模型在鲁棒性评估中表现不佳的问题，为未来的改进提供机会。

查看RADDLE

关于 微软研究院 , 微软研究院是微软公司旗下的全球研究机构，致力于推动计算机科学和相关领域的创新，涵盖人工智能、机器学习、数据科学等多个前沿领域。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。