清华大学 发布 MLA-Trust 数据集, 应用在 多模态语言模型、可信度评估 领域

清华大学 本次发布的数据集 MLA-Trust, MLA-Trust是一个用于评估多模态大型语言模型（MLLM）代理在图形用户界面（GUI）环境中的可信度的框架。该框架涵盖了四个原则性维度：真实性、可控性、安全和隐私。数据集由34个高风险的交互式任务组成，旨在测试MLLM代理在不同环境下的可信度。数据集的创建旨在解决MLLM代理在现实世界应用中的可信度问题，如网络自动化、医疗辅助和金融交易系统。数据集通过自动化日志记录、GUI仪器和信任度指标计算等模块化评估流程进行评估。

查看MLA-Trust

关于 清华大学 , 清华大学，位于中国北京，是一所享誉全球的顶尖研究型大学，以其深厚的学术底蕴和杰出的科研能力而著称。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。