买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：合肥工业大学

摘要：本发明公开了一种面向边缘设备的遮挡行人闯红灯姿态识别方法，本发明通过获取红灯亮起时的斑马线处监控行人图片，实现行人姿态关节点检测和闯红灯姿态识别两个任务。本发明通过学习构建姿态空间关系矩阵，实现对遮挡关节点特征的空间关系传播，修正错误的关节点定位。面向边缘设备计算能力有限的问题，本发明使用蒸馏学习思想，分布设计教师网络和学生网络，并设计了学生网络损失函数，来获得轻量级的姿态关节点定位的学生网络。最后针对闯红灯姿态识别任务，构建卷积神经网络，实现闯红灯和非闯红灯的状态识别。本发明具有场景适用能力强，关节点定位准确性高，轻量级网络，处理速度快，便于移植等优势，可有效实现行人闯红灯行为识别。

主权项：1.一种面向边缘设备的遮挡行人闯红灯姿态识别方法，其特征在于：在红灯亮起时，抓拍行人图片，对闯红灯行为进行检测，具体包括如下步骤：步骤1、通过闯红灯姿态空间关系学习，得到学习后的空间关系矩阵；步骤2、根据输入的行人图片，生成遮挡姿态图；步骤3、根据生成的遮挡姿态图，进行闯红灯姿态空间关系传播；步骤4、采用蒸馏学习法，进行高分辨率的教师网络训练，得到教师网络参数模型；步骤5、采用蒸馏学习法进行学生网络训练，获得学生网络参数模型；步骤6、进行闯红灯行为检测网络训练；步骤7、对遮挡行人闯红灯姿态进行检测，实现闯红灯和非闯红灯的状态识别；步骤1所述的通过闯红灯姿态空间关系学习，得到学习后的空间关系矩阵，具体包括如下步骤：步骤1-1、输入闯红灯训练集，训练集图像大小为WxH，获得训练集图像中每个人体的16个关节点位置；步骤1-2、每个人体的16个关节点位置，构建相对空间关系矩阵，矩阵尺寸为2Wx2H；步骤1-2-1、计算每2个关节点位置之间的向量；步骤1-2-2、对关节点位置之间的向量进行统计，构建节点关系矩阵Dij；步骤1-3、对相对空间关系矩阵，进行归一化和卷积处理，获得卷积学习后的空间关系矩阵Pij， 步骤2所述的生成遮挡姿态图的方法，包括如下步骤：步骤2-1、使用HRNet网络，对输入图像进行检测，获得每个人体关节点的热图；步骤2-2、根据步骤2-1得到的热图，获得关节点位置和其对应的得分；步骤2-3、根据关节点得分设定阈值，将低得分的认为是遮挡节点，高得分的认为是可见节点，获得遮挡节点集合，可见节点集合；步骤2-4、将每个关节点的热图视为节点特征，节点特征大小为WxHx64，其中64是一个关节点热图的通道数量；步骤3所述的闯红灯姿态空间关系传播的方法，包括如下步骤：步骤3-1、获得节点传播特征：步骤3-1-1、将步骤2-4中得到的节点特征进行归一化处理，获得归一化后的节点特征；步骤3-1-2、将节点特征进行全连接处理，获得节点传播特征vi；步骤3-2、获得边特征：步骤3-2-1、将步骤2-4中得到的起始节点特征减去终止节点特征，获得边特征；步骤3-2-2、将边特征，进行归一化处理，获得归一化后的边特征；步骤3-2-3、将归一化后的边特征进行全连接处理，获得线性变换后的边特征eij；步骤3-2-4、将边特征eij作为卷积核，对步骤1-3中得到空间关系矩阵Pij，进行卷积其中⊙为卷积操作，获得边传播特征；步骤3-3、将步骤3-1-2获得的节点传播特征vi和步骤3-2-4获得的边传播特征求和，获得融合特征vj； 其中是该融合模型中的偏置项参数；步骤3-4、将融合特征进行RELU变换，获得激活响应后的节点特征；步骤4所述的采用蒸馏学习法，进行高分辨率的教师网络训练，得到教师网络参数模型，具体包括如下步骤：步骤4-1、输入高分辨率场景图，高分辨率场景图的分辨率为2Wx2H；步骤4-2、进行闯红灯姿态空间关系学习，获得高分辨率下的空间关系矩阵；步骤4-3、生成遮挡姿态图，获得每个关节点的节点特征，将该节点特征视为初始的节点特征；步骤4-4、输入步骤4-2得到的空间关系矩阵和步骤4-3得到的初始节点特征，进行空间关系传播，获得激活响应后的节点特征，该节点特征视为第一阶段空间融合后的节点特征；步骤4-5、再重复进行三次空间关系传播，共计四次空间关系传播，将第一阶段空间融合后的节点特征，转换为第四阶段空间融合后的节点特征；步骤4-6、根据第四阶段空间融合后的节点特征，与训练集中标记的真实节点位置响应图，进行损失计算，损失计算为均方差误差公式；步骤4-7、使用步骤4-6的损失函数，对教师网络进行训练，获得教师网络模型参数；步骤4-8、使用教师网络模型参数，对训练图像进行预测，获得教师网络的节点监督标记；步骤4-9、根据教师网络的节点监督标记，计算节点对之间的监督关系，获得教师网络的节点对之间的监督信号； 其中x,y是真实节点位置的横坐标和纵坐标，是教师网络预测的节点i和节点j位置的横坐标和纵坐标；步骤5所述的采用蒸馏学习法进行学生网络训练，获得学生网络参数模型，具体包括如下步骤：步骤5-1、输入低分辨率场景图，低分辨率场景图的分辨率为WxH；步骤5-2、进行闯红灯姿态空间关系学习，获得低分辨率下的空间关系矩阵；步骤5-3、生成遮挡姿态图，获得每个关节点的节点特征，将该节点特征视为初始的节点特征；步骤5-4、输入步骤5-2得到的空间关系矩阵和步骤5-3得到的初始节点特征，进行空间关系传播，获得激活响应后的节点特征，该节点特征视为第一阶段空间融合后的节点特征；步骤5-5、根据第一阶段空间融合后的节点特征，与训练集中标记的真实节点位置响应图进行损失计算，损失计算为均方差误差；步骤5-6、根据学生网络的节点特征，计算节点对之间的关系，获得学生网络的节点对之间的节点信号； 其中x,y是真实节点位置的横坐标和纵坐标，是学生网络预测的节点i和节点j位置的横坐标和纵坐标；步骤5-7、根据学生网络的节点对之间的节点标记与步骤4-9得到的教师网络中节点对的监督信号计算损失，损失函数为均方差误差公式； 步骤5-8、将步骤5-5中得到的损失函数与步骤5-7中得到的损失函数求和，获得学生网络的总损失函数；LLoss＝Lmse+Lskd其中Lmse是步骤5-5获得节点位置的均方差损失项，Lskd是步骤5-7获得的节点对的均方差损失项；步骤5-9、根据学生网络的总损失函数，训练学生网络，获得学生网络模型参数；步骤6所述的闯红灯行为检测网络训练方法，具体包括如下步骤：步骤6-1、对输入的行人图像，使用学生网络模型进行定位，获得关节点位置；步骤6-2、通过闯红灯姿态空间关系学习得到节点特征，进行最大池化，获得池化后的节点的特征，其大小为WxH；步骤6-3、将16个节点的池化后的节点特征，串联得到姿态特征矩阵，其大小为WxHx16；步骤6-4、将姿态特征矩阵输入Resnet姿态识别网络，进行闯红灯姿态识别，得到预测标记，标记范围为闯红灯和非闯红灯；步骤6-5、将步骤6-3得到的预测标记与训练集的标记，进行损失计算，得到损失函数，损失函数形式为二范数损失；步骤6-6、根据闯红灯行为检测网络的总损失函数，训练闯红灯行为检测网络，获得闯红灯行为检测网络模型参数。

全文数据：

权利要求：

百度查询： 合肥工业大学 一种面向边缘设备的遮挡行人闯红灯姿态识别方法