买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京工业大学

摘要：一种基于GatedTransformer网络的野生哺乳动物行为识别方法，首先建立哺乳类野生动物行为识别模型，再用该识别模型对输入的视频片段连续帧进行处理，并识别野生哺乳动物的不同行为，最后输出。所述识别模型是基于GatedTransformer网络识别模型；所述识别方法先使用基于轮廓的方法DeepSnake来检测图像中的动物轮廓作为空间特征，然后通过提取连续帧间的关节坐标的波动来区分野生哺乳动物在时序空间中不同行为的多样性，有助于表征不同行为的关节点运动的差异。最后，将时间特征和空间特征融合到GatedTransformer网络中，用于野生哺乳动物的动作识别。

主权项：1.一种基于GatedTransformer网络的野生哺乳动物行为识别方法，首先建立哺乳类野生动物行为识别模型，再用该识别模型对输入的视频片段连续帧进行处理，并识别野生哺乳动物的不同行为，最后输出，其特征是所述识别模型是基于GatedTransformer网络识别模型；所述识别方法的步骤包括：1标记一个视频片段连续帧的野生哺乳动物关节点坐标，作为网络识别模型的时序特征输入；2提取野生哺乳动物身体的轮廓，并计算轮廓的周长、面积、圆形度、矩形度和周径比作为网络识别模型的空间特征输入；3将步骤1和2提取的时序特征和空间特征分别输入到识别网络模型，识别野生哺乳动物的不同行为；所述步骤3中：3.1将步骤1标记的野生哺乳动物关节点坐标作为GatedTransformer网络的时序分支Step-wiseTransformer的输入；3.2利用时序分支Step-wiseTransformer的Embedding层和多头自注意力Multi-HeadAttention层提取野生哺乳动物关节点时序拓扑的特征；3.3将PositionalEmbedding层提取的特征堆叠到时序分支Step-wiseTransformer的多头自注意力Multi-HeadAttention的输入层，用于对步骤3.2提取的野生哺乳动物关节点时序拓扑特征进行增强，以便更好地区分不同行为的时序拓扑的差异；3.4将步骤2得到的野生哺乳动物身体部分轮廓的周长、面积、圆形度、矩形度和周径比作为GatedTransformer网络的空间分支Channel-wiseTransformer的输入；3.5利用空间分支Channel-wiseTransformer的多头自注意力Multi-HeadAttention捕捉跨所有时间步长的不同通道的潜在的野生哺乳动物空间特征相关性,用于表达不同行为的轮廓特征差异；3.6采用Gate卷积层融合Step-wiseTransformer分支提取的野生哺乳动物时序特征和Channel-wiseTransformer分支提取的野生哺乳动物空间特征；3.7用Softmax层将通过Linear层展平的特征向量分类为奔跑、行走、坐卧和站立四种行为。

全文数据：

权利要求：

百度查询： 南京工业大学 基于Gated Transformer网络的野生哺乳动物行为识别方法