买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州智诺科技股份有限公司;杭州智诺云眼科技有限公司;浦江智诺科技有限公司

摘要：本申请涉及一种融合3DCNN与注意力机制的行为识别模型训练方法和系统，相比较于相关技术通过类ViT的深度行为识别方法，本实施例中采用3DCNN和结合注意力机制的TransformerBlock进行特征提取，可以在运算复杂度较小、算力消耗较小的前提下，实现精准的人员行为识别。

主权项：1.一种融合3DCNN与注意力机制的行为识别模型训练方法，其特征在于，所述方法包括：接收训练集，其中，所述训练集是包含人员行为标签的视频数据；分别对所述训练集中的各个图像帧进行分离空间特征提取，得到初始行为特征图；通过3DCNN网络，对所述初始行为特征图进行提取局部特征，并通过结合注意力机制的Transformer网络，基于序列化之后的局部特征得到全局特征，将所述局部特征和所述全局特征融合，得到行为特征向量具体包括：将所述局部特征和所述全局特征，通过1×1×1的卷积核进行特征融合，得到所述行为特征向量；通过分类头，分别获取所述行为特征向量的Softmax值，并将所述Softmax值与标签值进行比较，得到各个图像帧对应的行为分类结果；所述模型包括多个特征处理层，其中，第一区间的各个特征处理层分别包括多个invertedResidual模块，第二区间的各个特征处理层分别包括多个invertedResidual模块和FusionBlock模块；不同特征处理层之间残差连接，用于保持不同特征层之间的信息传递，所述训练集中的图像帧经过所述第一区间的各个特征处理层进行特征提取之后，输出所述初始行为特征图，所述初始行为特征图经过多个所述第二区间的各个特征处理层进行特征提取及融合之后，输出所述特征向量；分别对所述训练集中的各个图像帧进行分离空间提取，得到初始行为特征图包括：通过多个invertedResidual模块，利用深度卷积，分别对所述训练集的各个视频帧进行空间特征提取，得到空间特征，并对所述训练集的各个视频帧进行逐点卷积，将不同通道得到的空间特征进行线性组合，得到初始行为特征图。

全文数据：

权利要求：

百度查询： 杭州智诺科技股份有限公司 杭州智诺云眼科技有限公司 浦江智诺科技有限公司 融合3DCNN与注意力机制的行为识别模型训练方法和系统