德克萨大学 发布 PaperAsk 数据集, 应用在 自然语言处理、学术研究 领域

德克萨大学 本次发布的数据集 PaperAsk, PaperAsk是一个用于评估大型语言模型（LLMs）在学术任务中可靠性的基准数据集，由德克萨大学和复旦大学的研究团队创建。数据集包含840个测试案例，涵盖了四个核心学术操作：引用检索、内容提取、论文发现和声明验证。数据集旨在模拟真实使用条件，通过网页接口进行评估，从而揭示LLMs在实际应用中的可靠性问题。

查看PaperAsk

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。