买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连理工大学

摘要：本发明提供了一种基于人体关键点的图卷积网络跌倒检测方法，属于计算机视觉技术领域。本发明设计了双流图卷积网络，以图的形式建模人体姿态，充分挖掘和利用了人体的姿态信息，提高了姿态特征的鲁棒性，有利于后续的姿态分类；同时利用了时序信息，结合前序帧和当前帧的检测结果做跌倒的联合判决，增强跌倒检测算法的泛化能力；本发明所述的跌倒检测方法具有计算复杂度低、识别准确率高、易部署和迁移的特点。

主权项：1.一种基于人体关键点的图卷积网络跌倒检测方法，其特征在于，该方法包括以下步骤：S1、人体关键点提取基于姿态估计算法对监控图像中的人体进行关键点提取，构建姿态关键点数据集；S2、姿态特征提取分类设计一个双流图卷积网络对人体关键点进行姿态特征提取；所述的双流图卷积网络由图卷积网络和全连接网络组成；其中，图卷积网络提取人体关键点的几何结构信息，全连接网络提取关键点的全局信息；将图卷积网络和全连接网络提取到的姿态特征进行拼接融合，送入分类器完成姿态分类，得到当前行人的姿态状态；所述步骤S2的具体过程如下：S21、将姿态向量送入图卷积网络时先将姿态向量构建为骨架图，再将非结构化的骨架图表征成结构化的数据形式；具体过程如下：首先，将姿态向量P连接构建成一张无向图，连接方式如下：鼻子-左眼，鼻子-右眼，左眼-右眼，左眼-左耳，右眼-右耳，左耳-左肩，右眼-右肩，左肩-左手肘，右肩-右手肘，左肩-右肩，左手肘-左手腕，右手肘-右手腕，左肩-左胯，右肩-右跨，左胯-左膝，右胯-右膝，左膝-左脚踝，右膝-右脚踝；按此方式连接得到人体骨架图G，G有17个节点和19条边；其次，对骨架图G进行结构化的数据表征：对于骨架图G中的第i个节点，其节点特征用其坐标向量pi＝[xi,yi]表示；对于未检测到的缺省节点，其节点特征填充0向量，将17个关键点的特征向量p1,…,p17按行排列，得到关于骨架图G的特征矩阵H；对于节点的连接关系采用邻接矩阵A表示，邻接矩阵A的第i行第j列存储了骨架图第个i节点与第个j节点的连接信息，表示为至此，特征矩阵H和邻接矩阵A对人体骨架图G进行了结构化的数据表征；S22、搭建图卷积网络对骨架图进行特征提取，图卷积中对每个节点进行特征更新时都会依据节点的连接信息，对相连的节点进行特征聚合再更新，然后将更新后的特征输入到非线性激活函数中以增强网络的非线性能力；同时，经过多层堆叠后深层的网络具有更深的感受野，每个节点能够感知其更多的邻居节点的特征信息，并将此信息传递到下一层中，通过堆叠多层图卷积层可以充分挖掘人体姿态的几何结构信息；定义第l层图卷积函数如下： 其中，Wl是卷积网络第l层的权重矩阵，Hl是第l层的输入特征矩阵，A是邻接矩阵，ReLU是非线性激活函数，D是骨架图节点度的对角阵；骨架图G的特征矩阵H经过多层图卷积的更新后，输出特征矩阵Hfinal，将Hfinal的所有行向量进行平均池化，得到姿态特征向量S23、依据提取到的人体的鼻子关键点Pnose＝[x1,y1]和脚踝关键点Pankle＝[x17,y17]，估计人体的近似身高h＝max|x1-x17|,|y1-y17|，对步骤S1提取的姿态向量进行身高归一化得到归一化后的姿态向量Pnorm；S24、堆叠两层全连接层构建全连接网络，对归一化的姿态向量Pnorm进行特征提取，得到姿态特征向量S25、将步骤S24中全连接网络提取的姿态特征向量和步骤S22中图卷积网络提取的姿态特征向量进行级联拼接，得到融合后的特征向量F，表示按通道进行特征拼接；最后将该特征F输入到由两个全连接层组成的分类器，最后经过softmax函数归一化，输出预测的姿态类别；S3、跌倒判决设置姿态分类结果队列，结合时序信息和分类结果设置风险系数，对当前行人是否发生跌倒进行判断。

全文数据：

权利要求：

百度查询： 大连理工大学 一种基于人体关键点的图卷积网络跌倒检测方法