买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜华南理工大学;华南理工大学珠海现代产业创新研究院申请的专利一种基于双流注意力图卷积的异常行为识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115171206B 。

龙图腾网通过国家知识产权局官网在2025-05-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210161226.4，技术领域涉及：G06V40/20；该发明授权一种基于双流注意力图卷积的异常行为识别方法是由杜启亮;向照夷;田联房设计研发完成，并于2022-02-22向国家知识产权局提交的专利申请。

本一种基于双流注意力图卷积的异常行为识别方法在说明书摘要公布了：本发明公开了一种基于双流注意力图卷积的异常行为识别方法，针对人体的运动特点，在现有图卷积网络的基础上提出时间注意力模块、空间注意力模块、通道注意力模块，上述模块可以直接插入任何图卷积之中，以增强图卷积的模型性能，推理时，将人体的关节点信息和骨骼信息分别输入对应的关节点特征提取的图卷积网络及骨骼特征提取的图卷积网络，获得初步的分类结果，再将结果送入训练好的双流融合网络，计算出最优的融合参数，继而得到最终的分类结果。本发明可以提高图卷积网络模型的特征提取性能，并增强双流结果融合的效果，有效提高人体异常行为识别准确率。

本发明授权一种基于双流注意力图卷积的异常行为识别方法在权利要求书中公布了：1.一种基于双流注意力图卷积的异常行为识别方法，其特征在于，包括以下步骤：1）获取摄像机拍摄的含有人异常行为的视频段，并对每个人异常行为类别进行标注；2）使用关键点提取网络获取视频中的人体关节点序列，将其与对应的异常行为类别组合制作行为分类关节点数据集，将人体关节点序列转换为人体骨骼序列制作行为分类骨骼数据集，并将行为分类关节点数据集和行为分类骨骼数据集按同样比例划分训练集和验证集；3）分别使用行为分类关节点数据集和行为分类骨骼数据集的训练集训练两个改进MS-G3D网络，并使用对应验证集验证模型精度以选取最优模型参数；所述改进MS-G3D网络的改进部分情况具体如下：在MS-G3D网络的基础上添加了三个模块，分别是时间注意力模块、空间注意力模块、通道注意力模块；所述时间注意力模块包括帧差异信息提取子模块、多时间尺度特征提取模块和输出模块，所述空间注意力模块包括结点差异信息提取子模块、多结点尺度特征提取模块和输出模块；所述通道注意力模块包含平均池化层、1×1卷积层、ReLU激活函数、Sigmoid激活函数、BN层和两个跨越连接，其中平均池化层用于压缩通道注意力模块原始输入的时间空间信息，而后使用1×1卷积层及ReLU激活函数进行通道降维减少计算量，再使用1×1卷积层及Sigmoid激活函数进行通道升维并获取每个通道的权重系数，使用第一个跨越连接将与权重系数相乘并将结果使用第二个跨越连接与叠加，最后连接BN层及ReLU激活函数调整数据分布并增加模型的非线性拟合能力得到最终的通道注意力模块输出结果；所述帧差异信息提取子模块包含两个平均池化层、平方层及跨越连接，其中，第一个平均池化层用于获取时间注意力模块原始输入每个结点在所有帧的平均特征，并将该特征作为平均骨架，而后通过跨越连接与作差，再经过平方层对每个元素求平方，最后经过第二个平均池化层对空间维度求平均得到帧差异信息提取子模块输出结果，即将一帧所有结点特征的平均值作为该帧的重要性，从而达到与平均骨架差异越大的帧重要性越高的效果；所述多时间尺度特征提取模块包含空洞卷积层、Concat层、平均池化层及Sigmoid层，其中，多个扩张系数分别为1、5、9、13、17、21、24的13×1空洞卷积层并联，输入同时为帧差异信息提取子模块输出结果，使用Concat层将所有空洞卷积层的输出按通道维度拼接，而后使用平均池化层压缩通道维度，并经过Sigmoid层获得不同帧的重要性系数；所述输出模块包含跨越连接层、BN层和ReLU激活函数，其中，跨越连接层将不同帧的重要性系数或不同结点的重要性系数与时间注意力模块原始输入或空间注意力模块原始输入相乘，而后与或相加，最后连接BN层及ReLU激活函数获得最终的时间注意力模块或空间注意模块的输出结果；所述结点差异信息提取子模块包含两个平均池化层、平方层及跨越连接，其中，第一个平均池化层用于获取空间注意力模块原始输入每个结点在所有帧的平均特征，而后通过跨越连接与作差，再经过平方层对每个元素求平方，最后经过第二个平均池化层对时间维度求平均得到结点差异信息提取子模块输出结果，即将一个结点所有帧特征的平均值作为该结点的重要性，从而达到变化越剧烈的结点重要性越高的效果；所述多结点尺度特征提取模块包含空洞卷积层、Concat层、平均池化层及Sigmoid激活函数，其中，多个扩张系数分别为1、3、5、7、9、11、12的3×1空洞卷积层并联，输入同时为结点差异信息提取子模块输出结果，使用Concat层将所有空洞卷积层的输出按通道维度拼接，而后使用平均池化层压缩通道维度，并经过Sigmoid激活函数获得不同结点的重要性系数；4）对同一人的人体关节点序列和人体骨骼序列分别使用训练好的对应改进MS-G3D网络进行预测，并将得到的两个预测结果以及该人的异常行为类别组合制作双流融合数据集，并划分训练集和验证集；5）使用双流融合数据集的训练集训练双流融合网络，并使用对应验证集验证模型精度以选取最优模型参数；6）对待检测视频的每一帧进行乘客骨架提取并跟踪得到人体关节点序列和人体骨骼序列，将两个序列分别送入训练好的对应改进MS-G3D网络进行预测，将得到的两个预测结果送入训练好的双流融合网络进行预测，该预测结果即为最终的该乘客异常行为类别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华南理工大学;华南理工大学珠海现代产业创新研究院，其通讯地址为：510640 广东省广州市天河区五山路381号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。