HiThink Research 发布 BizFinBench 数据集, 应用在 金融分析、自然语言处理 领域

HiThink Research 本次发布的数据集 BizFinBench, BizFinBench是一个专为评估LLMs在现实世界金融应用中的性能而设计的基准数据集。该数据集包含6781个精心注释的中文查询，涵盖了数值计算、推理、信息提取、预测识别和基于知识的问答五个维度，并细分为九个类别。数据集强调商业背景下的评估，例如，在异常事件归因任务中，LLMs需要通过分析实时新闻源来识别股票价格异常的原因，其中一些新闻源故意嵌入了误导性的正面或负面信息。BizFinBench的数据主要来源于iwencai APP上的真实用户查询，该APP服务于广泛的个人投资者和金融专业人士，提供股票筛选、市场分析和个性化投资协助等功能。通过分析用户查询，金融专家确定了九个代表性的任务类别，这些类别在现实世界金融场景中频繁出现，并共同占据了平台上观察到的查询的90%以上，因此具有很强的代表性。数据集的构建过程包括使用GPT-4o进行数据清理、过滤和分类，以及为代表性不足的类别生成额外数据，以确保数据集的质量和实用性。

查看BizFinBench

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。