当前全球听障群体规模超7亿，手语作为其核心交流载体，相关智能化识别技术是信息无障碍建设的重要方向，但现有手语识别训练数据集普遍存在模态单一、抗环境干扰能力弱、用户隐私保护不足等痛点，高质量垂直领域标注数据已成为制约相关技术落地的核心瓶颈。近日，山东大学联合英国华威大学正式发布SIGMA-ASL大规模多模态手语识别数据集，于2026年5月7日首发于学术预印本平台arXiv，为该领域技术研发填补了关键资源空白。
SIGMA-ASL是国内高校牵头打造的首个融合多类传感设备的手语专用数据集，研发团队首次集成Kinect RGB-D相机、毫米波雷达和腕戴式IMU传感器三类采集设备，同步捕捉视觉、无线电反射与运动学多维原始数据，打破了传统单视觉模态数据集的应用局限。本次发布的数据集共收录20名参与者完成的160个常用美式手语词汇采集样本，累计形成93545条时间同步的多模态片段，团队专门搭建了毫秒级对齐框架保障跨模态数据的一致性，所有数据均在受控工作室环境中完成采集，并配备标准化预处理流程，可直接用于模型训练，大幅降低下游研发团队的数据处理成本。
从应用价值来看，SIGMA-ASL的多模态属性为手语识别技术的落地提供了更多可能性：依托毫米波雷达和IMU运动数据，研发团队可开发脱离视觉采集的手语识别方案，解决传统视觉识别受光照、遮挡影响，易泄露用户面部隐私的痛点，未来可广泛应用于公共服务终端手语交互、听障群体智能穿戴设备实时翻译、居家养老无障碍交互等多个场景，为开发鲁棒性强、隐私友好的手语识别系统提供核心支撑。
在数据要素成为数字经济核心生产资料的当下，垂直公共服务领域的高质量标注数据集是AI技术普惠落地的核心底座，本次SIGMA-ASL数据集的发布，不仅填补了多模态手语识别领域的训练资源空白，也为国内高校牵头开展跨国产学研合作、面向公共福祉领域输出数据资源提供了参考样本，将有效推动无障碍人机交互领域的技术迭代与产业落地。
详情页内容：
_1769672084863.jpg)