随着多语言大模型商业化落地进程加快，自然语言处理（NLP）系统的指代准确性与公平性，已经成为AI落地合规性评估的核心指标之一。对于德语这类拥有复杂名词性数格变化的屈折语而言，现有通用评测数据集始终无法覆盖其特殊语法结构下的代词使用场景，相关评测能力的缺失，也制约了德语区AI应用的迭代速度与合规水平。
2026年5月29日，汉堡大学可信人工智能实验室等机构联合研发的全球首个大规模德语代词忠实度评估数据集GRUFF正式在arXiv平台首发，填补了这一领域的空白。该数据集旨在研究语言模型在德语语境中正确跟踪、复现代词的能力，覆盖德语四种名词一致性系统和四组代词，包含超过七百万个独特实例，所有数据均通过模板组合生成，核心数据源为职业-参与者对的德语翻译及语法结构模板。为适配德语复杂的语法规则，研发团队将英语RUFF模板进行了本土化翻译与结构重构，完成了名词系统与代词集的配对校验，且所有模板均经过人工验证，确保数据的语法准确性与场景代表性。
从应用价值来看，GRUFF的落地将为德语NLP领域的多个核心方向提供基础数据支撑：在指代消解场景中，智能客服、法律文档智能分析、多轮对话系统等应用常出现代词指代混淆、长文本前后指代不一致等问题，GRUFF的七百万量级结构化实例可实现对模型指代推理能力的量化评测，帮助开发者针对性优化模型的复杂语境语义理解能力，降低语义偏差风险。在性别偏见评估场景中，德语多数职业称谓存在明确的性别变体，传统训练数据中的刻板印象往往会导致模型默认将技术类、管理类职业与男性代词绑定，服务类职业与女性代词绑定，GRUFF通过标准化的职业-参与者配对模板，可系统量化模型的性别偏见程度，为研发性别包容性语言模型提供评估依据，推动德语AI应用的公平性建设。此外在合规层面，随着欧盟《人工智能法案》正式实施，GRUFF也可作为德语AI系统公平性评测的基础工具，帮助企业验证AI生成内容是否符合无歧视的监管要求。
作为首个适配德语语法体系的大规模代词评测数据集，GRUFF的发布不仅为德语NLP领域的指代推理、公平性研究提供了核心数据支撑，其构建过程中针对屈折语语法特点的模板重构、人工验证方法论，也为法语、西班牙语等其他屈折语的同类数据集研发提供了可参考的框架，对推动多语言大模型的公平性、准确性迭代具有重要的行业价值。
详情页内容：
_1769672084863.jpg)