买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京昭衍新药研究中心股份有限公司

摘要：本申请公开了一种基于局部和全局时空特征的群体猴子动作识别方法，包括：构建动作识别网络模型，并利用猴群动作数据库对动作识别网络模型进行训练，其中，动作识别网络模型中设置有融合模块以及时间整合模块；对采集到的视频数据进行分帧处理，在分帧后的视频数据中随机选取多张连续帧，并按照通道维度进行拼接，生成关键帧；将关键帧作为输入数据，输入至训练好的动作识别网络模型，利用动作识别网络模型输出视频数据中猴子动作的动作预测结果。通过本申请中的技术方案，解决了饲养状态下的群体猴子动作视频或者图像识别的问题。

主权项：1.一种基于局部和全局时空特征的群体猴子动作识别方法，其特征在于，所述方法包括：构建动作识别网络模型，并利用猴群动作数据库对所述动作识别网络模型进行训练，其中，所述动作识别网络模型中设置有融合模块以及时间整合模块，所述融合模块用于对输入数据进行时空信息融合，生成融合特征图，所述时间整合模块用于分别提取所述融合特征图中的时间信息和空间信息，并将所述时间信息和所述空间信息在所述融合特征图的第二个维度上进行拼接，生成时空特征图，所述时空特征图用于动作预测；对采集到的视频数据进行分帧处理，在分帧后的视频数据中随机选取多张连续帧，并按照通道维度进行拼接，生成关键帧；将所述关键帧作为所述输入数据，输入至训练好的动作识别网络模型，利用所述动作识别网络模型输出所述视频数据中猴子动作的动作预测结果；所述融合模块用于对输入数据进行时空信息融合，生成融合特征图，具体包括：利用卷积核大小为1*1的conv2模块对所述输入数据进行特征图处理，生成第一特征图x，其中，所述第一特征图x的维度为N，C2，H，W；利用卷积核大小为3*3*3的con3模块对所述第一特征图x进行0填充，生成第二特征图fx，其中，所述第二特征图fx的维度为N，C3，H，W；采用unsqueeze操作对所述第一特征图x的维度扩充为N，C2，1，H，W，将所述第二特征图fx的维度扩充为N，1，C3，H，W，并将维度扩充后的第一特征图x、第二特征图fx进行哈达玛积运算，生成第三特征图，其中，所述第三特征图的维度为N，C2，C3，H，W；利用Pool层和shift移位操作对所述第三特征图进行维度调整，将所述第三特征图的维度调整为N，C2，H，W，生成第四特征图；利用ResNeXt网络对所述输入数据进行特征图处理，生成第五特征图，并采用特征图拼接的方式，将各支路输出的所述第四特征图与所述第五特征图进行拼接，生成所述融合特征图；所述时间整合模块具体包括：左边支路、右边支路以及拼接模块；所述左边支路中设置有三个串联的2D卷积模块，三个所述2D卷积模块的卷积核大小依次为1*1、3*3和1*1，所述左边支路用于提取所述融合特征图中的空间信息，生成空间特征图，其中，所述空间特征图的维度为N，C5，H2，W2；所述右边支路设置有串联的3D卷积模块、BN+ReLU模块以及reshape模块，所述3D卷积模块的卷积核大小为3*1*1，所述3D卷积模块用于提取所述融合特征图中的时间信息，生成中间特征图，所述中间特征图的维度为N，C6，H，W，所述BN+ReLU模块至少包括BN层和ReLU层，其中，所述BN层用于对中间特征图进行正态分布转换，所述ReLU层中设置有sigmoid激活函数，所述reshape模块用于进行维度调整，将所述BN+ReLU模块激活后的中间特征图的维度调整为N，C7，H2，W2，生成时间特征图；所述拼接模块用于将所述空间特征图与所述时间特征图进行拼接，生成所述时空特征图。

全文数据：

权利要求：

百度查询： 北京昭衍新药研究中心股份有限公司 一种基于局部和全局时空特征的群体猴子动作识别方法