买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：福州大学

摘要：本发明提供了一种融合局部与深度的时空图网络的人手检测方法首先使用传统检测器获取视频图像的多尺度特征图；随后将特征图选取置信度高的目标候选框，将目标候选框内图像再次输入检测器获取特征图，利用滑动窗口的激活值获取局部关键信息候选框，将候选框建立图关系网络，并且融合深度信息和视频前数帧的图像分别建立图网络进行训练；最后根据图计算获得的节点属性和原始特征图的特征信息相加，从而达到增强识别的效果。本发明利用图关系网络、深度信息和视频前后信息来增强图像识别，解决了传统检测器无法利用图像深度信息、视频图像先后信息和目标间具有关联关系的问题。

主权项：1.一种融合局部与深度的时空图网络的人手检测方法，其特征在于：包括以下步骤：步骤S1：将N帧序列图像和包含人手位置的标签，输入传统检测器中，获取检测器输出检测结果第一层的特征图，即共获取N帧图像的特征图；步骤S2：将每帧图像的特征图单独进行DecoupledHead操作，具体为：先用1个1×1卷积层把通道数减少到256，再经过2个3×3卷积层和1个1×1卷积层，得到各个目标候选框的置信度信息和位置信息；步骤S3：将置信度大于可学习阈值V的各个目标候选框的图像输入传统检测器中，输出各个目标的特征图；步骤S4：将各个目标的特征图分别经过7组特定大小的滑动窗口，并计算出每个滑动窗口的激活值激活值计算方法入下： 其中，A·为将该点的所有通道的特征值进行聚合，h和w为该滑动窗口的长和宽；使用非极大值抑制选取激活值最大的前P个窗口作为局部候选框；步骤S5：对每帧图像分别构建一个图关系网络；步骤S6：将每帧图像的图关系网络构建出各自的邻接矩阵并进行图计算；步骤S7：将N帧图像的图关系网络构建出一个邻接矩阵并进行图计算；步骤S8：将计算完成的图节点属性，与该节点在特征图上的特征进行相加，得出增强过后的特征图；将增强过后的特征图经过传统检测器损失计算更新；步骤S9：循环S1-S8，直至网络训练完成；步骤S10：将视频输入到融合时空图关系网络的检测器，每次输入实时图像和前N-1帧图像，若无前N-1帧图像，仅输入实时图像，将N帧图像输入进网络中；步骤S11：输出每帧图像所代表的图网络进行图计算；步骤S12：将计算完成的图节点属性，与该节点在特征图上的特征进行相加，得出增强过后的特征图；取实时图像的特征图，进行DecoupledHead处理操作，输出各个候选框信息，并经过非极大抑制，输出实时的预测结果；步骤S13：循环步骤S10-S12，直至输出视频实时最终的预测结果；所述步骤S5具体为：对每帧图像的特征图中置信度大于可学习阈值V的目标候选框作为目标图节点，该候选框在特征图中的特征信息作为目标图节点的属性，对每个目标内的P个局部候选框作为图局部节点，局部候选框的特征信息作为该局部节点的属性，构建出每帧图像的图关系网络的节点信息；所述步骤S6具体为：将图像转换为深度图，以此获取图像的深度图信息；并结合各个节点之间的像素距离dij和相对深度mij，生成一个K+L×K+L的邻接矩阵，K为图像中目标图节点数量，L为图像中局部节点数量，在该邻接矩阵中，K+L×K+L代表每个图节点之间的关系，设置λij代表i和j节点所代表区域之间的关系：λij＝w1dij+w2mijmij＝δωI,i,j 其中，xi、yi与xj、yj分别代表两个候选框的中心点坐标，w1和w2为可学习的参数，ω·为计算深度图，δ·为计算i和j所在区域的深度差，I为输入的原始图像，W和H为输入图像的宽和高；令不同目标的局部节点之间的λij值定义为∞，并对该邻接矩阵进行稀疏化操作：从第一行开始，选出每行λij最大的前F个点，构建出每帧图像的稀疏邻接矩阵；并使用图注意力网络GraphAttentionNetworks来描述图中每个相邻节点间的影响和传播；每个图节点属性hj经过更新后为hi'，更新过程如下： 其中，αij为图节点i和j的注意力系数，hj为i节点周围j节点的属性，W′为可学习的参数，σ·表示为图卷积计算的过程，表示节点i邻域内的任一节点；所述步骤S7具体为：将每帧图像转换为深度图，并结合各个节点之间的像素距离dij和层次距离kij和相对深度mij，生成一个K+L×K+L的邻接矩阵；在该邻接矩阵中，K+L×K+L代表每个图节点之间的关系，设置γij代表i和j节点所代表区域之间的关系：γij＝w3dij+w4kij+w5mijkij＝Frai-Fraj其中，w3、w4和w5为可学习的参数，Fra·为计算节点i或j所在图像的帧序号；令不同目标的局部节点之间的λij值定义为∞，并对该邻接矩阵进行稀疏化操作：从第一行开始，选出每行γij最大的前F个点，构建出一个具有层次信息的稀疏的邻接矩阵；并使用图注意力网络GraphAttentionNetworks来描述图中每个相邻节点间的影响和传播。

全文数据：

权利要求：

百度查询： 福州大学 一种融合局部与深度的时空图网络的人手检测方法