买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明提供了一种第一视角视频动作识别方法和装置，构建第一视角动作识别的多流网络模型，模型包括卷积神经网络CNN、Transformer网络等。模型采用RGB模态及深度模态，分为三个阶段进行动作分类，通过在ImageNet上预训练的卷积神经网络提取视频帧的双尺度特征，根据不同模态、不同尺度特征图各自的特点，分别采取不同的帧内分割方式，结合相关性计算机制增强空间表征，提高空间语义信息，通过多尺度跨模态融合模块的相互作用，产生交叉模态表示，增强模态间的互相关性；基于注意力机制，提取视频帧间的时序信息；融合经过空间交互增强的双模态数据，有效利用并融合双模态的时空信息，可以达到较好的动作识别效果。

主权项：1.一种第一视角视频动作识别方法，其特征在于，将第一视角视频动作数据集输入基于RGB模态与深度模态的多尺度网络中提取空间语义，所述网络采用卷积神经网络CNN，选取卷积神经网络CNN内两个不同的卷积块分别输出两种尺度的特征图，第一类特征图含有一定的空间信息，第二类特征图含有丰富的高层语义信息，并通过多模态跨帧注意模块MCIAMⅠ处理第一类特征图，通过多模态跨帧注意模块MCIAMⅡ处理第二类特征图，进而获得具有丰富多尺度双模态空间语义的特征嵌入向量，将所述特征嵌入向量作为Inter-frameEncoder模块的输入进行处理，经过多个Inter-frameEncoder模块的处理，完成帧间时序关系的提取，获得三种特征嵌入向量，分别由RGB支路、深度支路以及多尺度融合支路所生成，通过交叉融合注意模块CFAM将RGB支路及深度支路的数据进行融合，并完成多尺度融合支路的特征嵌入向量的融合，生成联合特征嵌入向量，通过线性层将联合特征嵌入向量进行处理，得到每帧的动作分类结果，然后沿时序方向对一个动作片段的视频帧进行平均处理，输出最终的识别结果；所述多模态跨帧注意模块MCIAMⅠ先采用平均分割或边缘交叉分割方式分割第一类特征图，再通过特征嵌入及线性映射将特征图映射为嵌入向量，并添加位置信息，计算RGB模态与深度模态相同切割方式所生成嵌入向量的权重矩阵，进行模态间的空间相关性增强；所述多模态跨帧注意模块MCIAMⅡ采用水平垂直分割的特征分割方式，计算RGB模态与深度模态间的空间相关性，并按照模态的不同分别融合多模态跨帧注意模块MCIAMⅠ生成的四个嵌入向量，完成多尺度双模态的空间语义增强。

全文数据：

权利要求：

百度查询： 天津大学 一种第一视角视频动作识别方法及装置