明斯特工业大学 发布 PTEB (Paraphrasing Text Embedding Benchmark) 数据集, 应用在 自然语言处理、句子嵌入评估 领域

明斯特工业大学 本次发布的数据集 PTEB (Paraphrasing Text Embedding Benchmark), PTEB (Paraphrasing Text Embedding Benchmark) 是一个动态协议，旨在评估句子嵌入模型的鲁棒性。它通过在评估时随机生成语义保留的释义来模拟现实世界应用的多样性，并聚合多次运行的结果。PTEB 使用基于语义文本相似度金标准评分的成本效益LLM方法来生成具有token多样性但语义保留的释义。在 7MTEB 任务中，PTEB 验证了句子编码器的性能对token空间的变化敏感，即使语义保持不变。PTEB 的结果在多次运行中具有统计稳健性，并将实验扩展到 3 个多语言数据集，涵盖 10 种语言。PTEB 旨在提出一种新的 NLP 评估范式，该范式依赖于动态、随机评估，而不是静态、预定义的基准。

查看PTEB (Paraphrasing Text Embedding Benchmark)

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。