买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京信息工程大学

摘要：本发明公开了手语识别领域的一种基于机器视觉的手语识别方法，包括根据待识别的手语视频构建上肢骨骼数据；获得包含上肢且无背景的检测图像；计算得到检测图像的像素特征以及上肢骨骼数据的骨骼特征；通过卷积神经网络分别对像素特征和骨骼特征进行提取，得到像素识别特征和骨骼识别特征；根据像素识别特征、骨骼识别特征获得识别向量；再将识别向量输入softmax层获得结果向量，结果向量中值最大的元素对应的手语词汇为识别结果；本发明通过识别双臂的移动和位置特征，增加了手语识别的范围，提高了手语识别的精度。

主权项：1.一种基于机器视觉的手语识别方法，其特征在于，包括：获取待识别的手语视频，使用二维骨骼识别模型OpenPos识别手语视频中每一帧人像的骨骼关键点，构建上肢骨骼数据；根据上肢骨骼数据裁剪手语视频中的每一帧原图像，并对裁剪后的原图像剔除背景，获得包含上肢且无背景的检测图像；计算得到检测图像的像素特征以及上肢骨骼数据的骨骼特征；所述像素特征包括三值帧差特征和灰度像素特征；上肢骨骼数据的骨骼特征包括骨骼几何关系特征、骨骼轨迹特征和手部骨骼特征；所述三值帧差特征计算过程，包括：对检测图像进行二值化处理，将检测图像中上肢部分的灰度值设定为255，将检测图像中其余部分的肢灰度值设定为0；计算二值化处理的检测图像中每个像素点的二值帧差特征，计算公式为： ；其中，若n=1，则设；根据二值帧差特征计算三值帧差特征，计算公式为： ；公式中，x表示像素点的横坐标；y表示像素点的纵坐标；n表示手语视频第帧的原图像；f（）表示像素点的灰度值；所述骨骼几何关系特征包括双手前臂夹角、手腕间斜率、左腕脖向量特征和右腕脖向量特征；所述双手前臂夹角的计算公式为： ； ； ；其中，表示左手肘到左手腕骨骼关键点的向量，表示右手肘到右手腕骨骼关键点的向量，表示左手腕骨骼关键点坐标；表示左手肘骨骼关键点坐标、表示右手腕骨骼关键点坐标、表示右手肘骨骼关键点坐标，Arccos表示求参数的反余弦值，Dot表示求两个向量的点乘；所述手腕间斜率的公式计算为： ；其中，表示左手腕骨骼关键点横坐标；表示右手腕骨骼关键点横坐标，表示左手腕骨骼关键点纵坐标，表示右手腕骨骼关键点纵坐标；左腕脖向量特征和右腕脖向量特征的公式计算为： ； ；其中，表示脖子骨骼关键点坐标；所述骨骼轨迹特征的公式计算过程包括：所述手语视频的帧数为N，矩阵M为手语视频中第m帧手腕骨骼轨迹特征；矩阵M的计算公式为： ； ；其中，当前帧为第1帧，则设；在矩阵M的第m列；其中,表示当前帧与上一帧的手腕骨骼关键点位置差，表示当前帧手腕骨骼关键点的坐标，表示上一帧手腕骨骼关键点的坐标，表示的x轴方向上的分量；表示的x轴方向上的分量；所述灰度像素特征的计算，包括：检测图像中各像素点的灰度值计算公式为： ；其中，表示在像素点坐标处的灰度值，表示在像素点坐标在R通道下的像素值；表示在像素点坐标在G通道下的像素值；表示在像素点坐标在B通道下的像素值；将各像素点的灰度值根据设定的顺序排列成列向量，所述列向量为灰度像素特征；通过卷积神经网络分别对三值帧差特征、灰度像素特征、骨骼几何关系特征、骨骼轨迹特征和手部骨骼特征进行提取，得到三值帧差识别特征、灰度像素识别特征、骨骼几何关系识别特征、骨骼轨迹识别特征和手部骨骼识别特征；将像素识别特征和骨骼识别特征进行融合，并输入Bi-LSTM网络提取时间特征，根据像素识别特征、骨骼识别特征和时间特征获得识别向量；通过softmax层对识别向量进行计算分析，获得手语视频为各种手语识别结果的概率，输出最大概率的手语识别结果。

全文数据：

权利要求：

百度查询： 南京信息工程大学 一种基于机器视觉的手语识别方法