买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：哈尔滨工业大学

摘要：本发明公开了一种结合特征帧检测与自然语言辅助的手语识别方法，涉及连续手语识别的技术领域，方法为：使用Mediapipe进行手语视频的关键点检测，并处理为独立图片与位置数据，利用聚类和人工检查确保数据一致性，之后通过CNN网络训练孤立词预训练模型；结合Mediapipe与CNN模型，对手语视频流中的手部动作进行识别和预测，输出每个瞬间手语的孤立词；对预测的孤立词进行后处理，包括词句补全、语序调整，并使用GPT模型优化句子结构，最终输出完整的手语识别结果。本发明能改善目前连续手语识别模型结构复杂的现状，确保输出结果流畅性，提高连续手语识别系统的实用性和准确度。

主权项：1.一种结合特征帧检测与自然语言辅助的手语识别方法，其特征在于，包括如下步骤：S1、预处理手语视频数据集，提取特征帧并预训练模型，具体包括：S11、使用Mediapipe框架对原始连续手语视频数据集进行手部关键点与手-肘-肩-头位置检测，返回手部关键点坐标与手-肘-肩-头的相对位置；S12、根据手部关键点坐标与手-肘-肩-头的相对位置，对属于相同手语含义类别的视频选取相同瞬时动作序列做为特征帧，将手语视频分别切片为孤立图片，并将这些孤立图片的手部关键点坐标与手-肘-肩-头的相对位置按瞬时动作顺序编号，并人工检查相同手语含义类别下顺序编号相同的图片是否具有相同的瞬时动作；S13、位置坐标归一化，使用聚类分析对相似度较高但含义不同的瞬时动作进行合并，建立孤立图片的位置坐标数据集；S14、使用1DCNN神经网络对位置坐标数据集进行训练，生成孤立词预训练模型；S2、使用手语识别Mediapipe-1DCNN复合模型进行孤立词预测，具体包括：S21、调用Mediapipe框架预测视频流，返回视频流的手部关键点坐标与手-肘-肩-头的相对位置；S22、位置坐标归一化，调用1DCNN模型对位置坐标进行预测，输出视频流手语的孤立词预测结果；S3、对孤立词预测结果进行后处理，连接孤立词，进行语序调整、成分补全并删去不合语义的检测结果个例后，输出手语识别结果，具体包括：S31、对常用词语和句型建立预设词句库，若存在连续的孤立词预测结果符合预设词句库，则补全或调整语序后输出；S32、调用GPT大语言模型进行辅助检查，对不在预设词句库中的句子进行优化。

全文数据：

权利要求：

百度查询： 哈尔滨工业大学 一种结合特征帧检测与自然语言辅助的手语识别方法