买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海交通大学

摘要：一种人体手势字母的识别方法、装置、计算机设备及存储介质，根据手语使用者手语习惯采用全新的运动信息与图像信息结合的识别方式进行文字的输入，符合标准的手语动作标准，操作简单使用方便。

主权项：1.一种人体手势字母的识别装置，其特征在于，包括：电源设备、图像采集设备、内置GPU服务器的核心处理器的外部GPU设备和内置陀螺仪和电子定位传感器、显示语音播报模块和蓝牙模块的手势终端设备，其中：图像采集设备采集包含使用者的人体躯干信息和手势状态信息的视频数据并输出至核心处理器，核心处理器中的GPU服务器从视频数据中提取出手势信息融合可穿戴部分传来的关键关节的运动数据，与标示特征库中的样本匹配，进一步识别出相应的手势字母经过最后筛选后通过语音和显示模块进行播报显示反馈；所述的人体手势字母的识别，包括以下步骤：步骤1采用柔性可穿戴捕捉设备与图像捕捉设备相结合的方式进行细节动作采集；步骤2通过将微型传感器安装在半裸手套上进行穿戴的方式将传感器依附在手部；步骤3通过安装在手部各个关节和手背部的微型电子定位器和陀螺仪实现手部姿态细节的采集；步骤4通过安装在身体外部一定距离的摄像头完成对使用者身体部位的图像检测；步骤5通过柔性电路和微型嵌入式设备实现穿戴方便舒适；步骤6通过搭建在嵌入式设备上的语音播报模块和液晶屏实现识别手语的播报与显示；步骤7通过外部GPU设备处理摄像头传输的实时图像；步骤8通过蓝牙模块实现可穿戴设别与GPU设备之间的数据传输；步骤9处理器内部会对采集图像首先运用多种图像处理算法进行预处理提高运算的效率；步骤10处理器内部的算法会融合图像和多传感器的数据进行手部运动信息的处理，根据训练的具有九轴十六点的手部映射骨骼轮廓决策模型进行手语结果匹配；所述的识别，通过多种图像算法对采集图像进行预处理并融合手势状态运动信息得到手势所指方位，从而识别出所表达的手势信息，并将最终识别出的手势字母输出至声音播放和显示装置进行声音和显示反馈；所述的外部设备包括声音播放设备和或图像显示设备，用于手势识别信息的反馈；所述的电子定位传感器通过针织物依附于手指各个关节处用于采集手指关节的运动角度并通过蓝牙模块将整合的运动数据实时输出至核心GPU处理器为内部算法提供手势运动数据；所述的识别，具体步骤包括：步骤1：预处理阶段，利用OPENCV库内函数对图像进行处理，算法对样本进行颜色模型转换、肤色检测、手势分割，以区分出手势和手势背景区域，去除非手势区域，对人体手势区域进行目标定位；步骤2：利用视频采集设备采集大量的手势手语字母表示的样本图片作为样本数据每个需要采集的标准手势目前是需要500张图片作为样本，并采用改进的关联肢区域的人体姿态识别算法结合手势终端的数据对样本进行训练，生成用于识别手指、手掌及其各自朝向的手势特征标识文件以供对输入的待测手势进行识别；步骤3：将训练好特征手势模型的系统进行手势识别，并运用KNN算法筛选识别出的特征手势数据，并将识别最高概率的手势字母作为最终识别确定的手势进行输出；步骤4：对核心处理器输出的识别手势结果进行手势信息的播报与显示。

全文数据：

权利要求：

百度查询： 上海交通大学 人体手势字母的识别方法、装置、计算机设备及存储介质