买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京小鱼数字科技有限公司

摘要：本发明涉及人工智能技术领域，具体为一种基于人机交互的姿态识别管理系统及方法，包括：动作识别模块、特征提取模块、命令录入模块、动作分解模块和指令输出模块，动作识别模块用于检测画面变化，生成图片集，特征提取模块用于标注特征区域，生成映射矩阵，命令录入模块用于对各命令录入指令动作，动作分解模块用于清洗多余的数据，提取备选命令，指令输出模块用于生成输出命令组合，完成人机交互流程，本发明能够可以提高交互模型的泛化能力，更全面地理解用户的动作和意图，实现低延迟的姿态识别和响应，提高姿态识别系统的灵敏度，为用户提供更好的人机交互体验。

主权项：1.一种基于人机交互的姿态识别管理方法，其特征在于，所述方法包括以下步骤：步骤S1.摄像机捕捉到用户面部后，对用户做出的动作持续录像直到动作结束，将拍摄到的每一帧图片进行编号，构成单元图片集；步骤S2.利用图片处理工具识别所述单元图片集内持续发生变化的区域，标记为特征区域，根据各帧图片在特征区域内像素点色值的变化，生成动作映射矩阵；步骤S3.为各命令录入指令动作，将所述指令动作分解为片段，计算各片段对应的动作映射矩阵，生成指令矩阵集，并判断新录入的指令矩阵集是否满足隔离条件，不满足隔离条件时，提醒用户多录入一个动作；步骤S4.命令全部录入后，人机交互设备开始工作，把用户在摄像机前做出的动作转换为动作映射矩阵的集合，记作输入矩阵集，将输入矩阵集中所有秩小于预设值的元素矩阵清洗掉；步骤S5.计算所述输入矩阵集与各指令矩阵集的匹配度，识别出用户动作代表的命令，将识别出的命令输入人机交互设备执行；步骤S1包括：步骤S11.在人机交互设备使用前，人机交互设备摄像头利用面部捕捉技术识别用户面部信息，当捕捉到用户面部信息后，检测用户的动作；步骤S12.检测到用户开始动作时，人机交互设备拍摄录像直到用户动作结束，按时间顺序对录像中的每一帧图片进行编号，将所有图片打包构成单元图片集；步骤S2包括：步骤S21.标记单元图片集中相邻两帧图像色值不同的像素点，将标记出的像素点进行叠加，形成像素点云，利用点云聚类算法从所述像素点云中分类出像素点集中的矩形区域，记为特征区域；步骤S22.对单元图片集中每一帧图片执行像素映射方法，输出相邻帧映射矩阵，所述像素映射方法如下：根据当前帧与下一帧内位于特征区域中的所有像素点色值，列出矩阵方程： 其中，m代表特征区域宽度包含的像素点数量，n代表特征区域长度包含的像素点数量，代表当前帧位于特征区域中第m列第n行的像素点色值，代表下一帧位于特征区域中第m列第n行的像素点色值，E代表当前帧与下一帧的相邻帧映射矩阵；解上述矩阵方程，得到矩阵E中各元素的值，输出矩阵E作为相邻帧映射矩阵；步骤S23.生成动作映射矩阵U，所述U＝E1·E2·…·Ek-1，其中k代表单元图片集内图片的数量，Ek-1代表第k-1帧与第k帧之间的相邻帧映射矩阵；步骤S3包括：步骤S31.检测命令录入情况，若全部命令已录入，转到步骤S5，若存在命令未录入，进入命令录入状态，开始逐条录入命令，转到步骤S32；步骤S32.对用户在摄像头前做出的动作进行录像，直到用户动作结束，按照录像分解方法对用户的动作进行分解，分离出录像片段，所述录像分解方法如下：若录像相邻两帧画面中多于x个相同坐标的像素点色值发生改变，则将前一帧画面记作动态画面，否则将前一帧画面记作静态画面，当两帧动态画面中间存在超过c帧静态画面时，舍弃两帧动态画面中间所有的静态画面，从而使录像断开，以此方法将全部录像断开为片段，输出所有的录像片段，其中x和c为预设参数；步骤S33.对于每一个录像片段，按照步骤S1-S2中的方法生成对应的动作映射矩阵，构成指令动作集合G＝{G1,G2,…,Gf}，其中f代表录像片段的数量，Gf代表第f个录像片段对应的动作映射矩阵，将集合G记作命令的指令矩阵集；步骤S34.判断录入的动作单元是否满足隔离条件，不满足隔离条件时，提醒用户多录入一个动作，生成动作映射矩阵添加到原有的指令动作集合中，所述隔离条件如下：rGi|HirHi其中，i代表指令动作集合中的元素编号，i∈{1,2,…,f}，Gi代表新录入指令动作集合中的第i个元素，Hi代表已录入指令动作集合中的第i个元素，rGi|Hi代表矩阵Gi与矩阵Hi增广矩阵的秩，rHi代表矩阵Hi的秩，若对于i的每一个取值，不等式均成立，则判断满足隔离条件，否则判断为不满足隔离条件；步骤S35.对于人机交互设备中的每一个未录入命令执行步骤S32-S34，得到全部未录入命令的指令矩阵集；步骤S4包括：步骤S41.对用户在摄像头前做出的动作进行录像，按照步骤S32-S33中记载的方法，将拍摄的录像分解为输入矩阵集{D1,D2,…,Dz}，其中z代表录像片段数量，Dz代表第z个录像片段对应的动作映射矩阵；步骤S42.计算所述输入矩阵集中每个矩阵的秩，将其中秩小于预设值的矩阵清洗掉，得到清洗后的输入矩阵集{W1,W2,…，Wy}，其中y代表清洗后输入矩阵集中的元素数量，Wy代表清洗后的输入矩阵集中第y个动作映射矩阵；步骤S5包括：步骤S51.对已录入的每一个命令匹配度计算方法，得到输入矩阵集与命令的匹配度，所述匹配度计算方法为：获取命令对应的指令矩阵集，根据公式计算与输入矩阵集的匹配度： 其中，L代表匹配度，Q0代表指令矩阵集中元素的数量，Wj代表输入矩阵集中第j个矩阵，Vj代表指令矩阵集中第j个矩阵，FWj,Vj代表矩阵Wj与Vj的运算法则，Q1代表矩阵Vj中行的数量，Q2代表矩阵Vj中列的数量，Wjp,q代表矩阵Wj中第p行第q列的元素值，Vjp,q代表矩阵Vj中第p行第q列的元素值；步骤S52.将匹配度最高的命令作为第一命令发送到人机交互设备进行执行，第一命令的指令矩阵集中元素数量记为Q3，去除输入矩阵集中前Q3个元素形成新的输入矩阵集；步骤S53.对新的输入矩阵集再次执行步骤S51-S52，直到新的输入矩阵集中不存在元素为止。

全文数据：

权利要求：

百度查询： 南京小鱼数字科技有限公司 一种基于人机交互的姿态识别管理系统及方法