萨尔兰大学 发布 context_eval 数据集, 应用在 大语言模型安全评估、AI伦理 领域

萨尔兰大学 本次发布的数据集 context_eval, 该数据集由萨尔兰大学和杜伦大学联合团队构建，聚焦大语言模型在健康与金融领域的安全评估。数据集包含从Reddit采集的2,700条原生咨询帖（健康1,452条/金融1,248条），经GPT-4o提炼生成12个高风险主题的标准化提问，并配合专业顾问创建的差异化用户脆弱性档案（分高/中/低三级）。数据通过Prolific平台由持证金融/医疗从业者标注，采用七级安全评分体系（1-7分）对GPT-5、Claude Sonnet 4和Gemini 2.5 Pro的响应进行情境感知评估，旨在解决传统安全评估中用户上下文缺失导致的个性化风险监测难题，为AI伦理中的个体福利保护提供基准工具。

查看context_eval

README 内容： 

关于 萨尔兰大学 , 萨尔兰大学（Saarland University）是德国萨尔州的一所公立研究型大学，成立于1948年，位于萨尔布吕肯市。该校以计算机科学、纳米技术和生命科学等领域的研究闻名，并与马克斯·普朗克研究所等机构有密切合作。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。