买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京视察者智能科技有限公司

摘要：本发明公开了一种基于人脸骨架检测戴口罩人脸的方法、装置，及终端设备，该方法包括步骤1，提取底库特征：通过openpose轻量模型提取人脸骨架关键点，将提取到的关键点输入到Transformer获得面部骨架区域特征，最后将各骨架节点数据特征作为图卷积算子，根据图卷积算法计算出面部整体骨架特征，并存入底库；步骤2提取待检测识别的戴口罩人脸特征，步骤3，将待检测的人脸特征与底库特征匹配，设定相似度阈值，判断待检测的人脸图片中是否为目标人物。采用基于人脸骨架的节点数据特征识别戴口罩人脸，能够削弱口罩遮盖面部的影响，进一步提高戴口罩人脸识别的准确率。

主权项：1.一种基于人脸骨架检测戴口罩人脸的方法，其特征在于，该方法主要包括以下步骤：步骤1，提取底库特征；获取底库图片，底库图片为目标人员的正面脸部照片；采用openpose骨架提取网络，输入底库图片，根据设定的宽高比将输入的底库图片大小缩放到指定尺寸，调用已经训练收敛的openpose骨架网络模型参数，执行前向推导函数，对输入的图片进行处理，输出面部骨架关键点K＝[k0,k1,k2,…,kn]，n+1为面部骨架关键点的数量，面部骨架关键点共包括a种类别，即a种面部骨架区域，每种类别包含相同或不同数量的关键点；将获取到的面部骨架关键点K转换为向量X，X＝{x1,x2,x3,...,xn}，按面部骨架关键点与各个关键点类别的对应关系转换为以下关键点向量矩阵G＝{g1,g2,g3,…,ga}，其中gj代表一种关键点类别的关键点矩阵，j∈{1、2、……a}给关键点矩阵gj中的各个向量加上位置特征，位置特征包括骨架关键点的坐标和固定的随机编码，即Mi＝xki，yki，ri，其中xki，yki为骨架关键点ki的坐标，ri为随机编码，所述随机编码满足以下条件：1ri为服从n维高斯分布的n维随机向量，2ri的模长固定，3任意两个关键点，其对应的随机编码不同；将关键点矩阵gj中的各关键点向量和位置特征组合，得到Transformer网络的输入向量Ci，Ci＝xi+Mi；将Ci送入Transformer网络，得到单个面部骨架区域特征fj＝T{Y1,Y2,Y3,...,Yq}，其中q代表关键点矩阵gj中关键点数量，最后获得全部面部骨架区域特征F，即F＝{f1,f2,f3,…,fa}；将获得的全部面部骨架区域特征F构造成图，记作为U，U中的节点集合记作为D＝{d1,d2,...,da}，节点集合D中的元素dj为骨架区域特征集合F中fj对应的特征向量，U中所有节点的特征矩阵记作H，H∈Rn×w，其中w为面部骨架区域位置的特征向量维度，U中的节点两两连接，构成边集合E＝{e1,e2,e3,...,es}，s＝a2；构造U的邻接矩阵B，B∈Rn×n，邻接矩阵中的元素记为Bo,p，Bo,p代表节点do和节点dp之间的边，基于不同的边所在位置和长度赋予不同的权重，从而得到邻接矩阵B中各元素的值；定义多层图卷积神经网络，网络的层数记为L，每层图卷积的操作定义为Hl+1＝σBHlWl，B为U的邻接矩阵，Hl为第l层的特征矩阵，Wl为第l层的权重矩阵，为激活函数，优选的，激活函数采用ReLU函数；U经过多层图卷积操作后，得到图U′，即表示面部整体骨架特征GZ，将面部骨架特征及对应的目标人员信息存入底库，作为戴口罩人脸识别依据；步骤2，提取待检测识别的戴口罩人脸特征将步骤1中的获取底库图片改为：获取所有待检测识别的戴口罩人脸图像，得到多个待检测人脸图像，按照步骤1的方法，得到待检测的面部整体骨架的特征GZ'；步骤2相对步骤1的不同点为：在输出面部骨架关键点K'时，K'＝[k0',k1',k2',…,kn']，考虑到口罩的影响，得到的鼻部、唇部关键点不准确，给其关键点赋予较小的权重，将鼻部、唇部的关键点弱化；步骤3，将待检测的人脸特征GZ'与底库中的所有面部整体骨架特征GZ进行一一对比，设定相似度阈值，判断待检测的人脸图片中是否为目标人物，若相似度大于阈值，则是目标人物，若相似度小于阈值，则不是目标人物。

全文数据：

权利要求：

百度查询： 南京视察者智能科技有限公司 一种基于人脸骨架检测戴口罩人脸的方法、装置，及终端设备