买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：长沙千博信息技术有限公司

摘要：本发明公开了一种手语词汇识别系统，包括：构建手语词汇视频数据集与数据集预处理，根据手语词汇表，采集视频数据构建手语词汇视频数据集，然后对视频数据集进行统一化处理；构建手语词汇识别深度学习模型网络，将深度学习中图卷积方法、平均池化层、全连接层进行组合构建手语词汇识别深度学习模型网络；训练手语识别深度学习模型与模型调优，使用手语词汇视频数据集，对自定义的深度学习模型网络进行训练，并使用深度学习中模型调优方法逐步提高手语词汇识别模型的泛化能力与准确率。本发明实现了实时从视频中识别手语词汇的技术突破，将手语翻译成文字传递给健听人，对于实现听障人群与健听人群的双向无障碍交流有着重要的意义。

主权项：1.一种手语词汇识别系统，用于从视频中识别手语词汇，将听障人手语翻译为文字传递给健听人，其特征在于，包括：构建手语词汇视频数据集与数据集预处理，根据手语词汇表，采集视频数据构建手语词汇视频数据集，然后对视频数据集进行统一化处理；构建手语词汇识别深度学习模型网络，将深度学习中图卷积方法、平均池化层、全连接层进行组合构建手语词汇识别深度学习模型网络；训练手语词汇识别深度学习模型，使用手语词汇视频数据集，对构建的深度学习模型网络进行训练，并使用深度学习中模型调优方法逐步提高手语词汇识别深度学习模型的泛化能力与准确率；对手语词汇识别深度学习预训练模型进行工业化部署，对手语词汇识别深度学习预训练模型进行转换，基于TensorRT推理加速工具，完成手语词汇识别深度学习预训练模型的转化，使其具有在多个系统平台进行推理加速的能力；应用手语词汇识别深度学习预训练模型进行手语词汇识别，在手语词汇识别的应用过程中，使用TensorRT对输入的视频文件或者摄像头采集的视频流进行推理加速，手语词汇识别深度学习预训练模型根据输入的视频中的视频流或者摄像头中的视频流，对视频流中的人物手语信息进行识别，推理出正确的手语标签；所述的手语词汇识别深度学习模型网络主要包括两个部分：第一部分包括从视频流中手语人员的手语动作提取关节图序列、骨骼图序列、关节运动图序列、骨骼运动图序列；第二部分为构建深度学习模型网络，从上述所产生的各种图序列中提取手语动作模式信息进行训练，手语词汇识别深度学习模型网络由多个图卷积层进行连接，最后通过平均池化层、全连接层得到网络权重；所述的手语词汇识别深度学习模型网络中图卷积层包括：解耦空间卷积层，时间自注意层与空间自注意层，时间卷积层，BN层，dropout层，激活层。

全文数据：

权利要求：

百度查询： 长沙千博信息技术有限公司 一种手语词汇识别系统