斯坦福大学 发布 TRAM 数据集, 应用在 时序推理、语言模型评估 领域

斯坦福大学 本次发布的数据集 TRAM, TRAM是一个综合的时序推理基准，由斯坦福大学创建，包含10个数据集，旨在全面评估大型语言模型（LLMs）的时序推理能力。这些数据集覆盖了从基础的时序理解到高级的时序解释和计算等多个方面，如事件顺序、持续时间、频率和时序算术等。每个数据集都经过精心设计，以评估模型在不同难度和理解层次上的表现。TRAM不仅包括现有的自然语言理解数据集，还融合了人工编制的模板和问题，以及网络资源和程序生成，总计包含526,068个问题。这些问题通过专家注释和程序生成相结合的方式得出，旨在推动LLMs在理解和推理时间方面的进一步发展，解决复杂叙述和事件因果关系中的时序问题。

查看TRAM

README 内容： 

关于 斯坦福大学 , 斯坦福大学是一所位于美国加州的世界顶尖私立研究型大学，以其在科技、工程、商业和法律等领域的卓越教学和研究而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。