买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州电子科技大学

摘要：本发明提出了一种基于多流空间注意力图卷积SRU网络的骨架动作识别方法。本发明首先,在简单循环单元中嵌入图卷积算子构建出图卷积模型,来捕获骨架数据的时空域信息。同时，为了加强关节点之间的区分性，设计了空间注意力网络和多流数据融合方式，进一步将图卷积简单循环网络模型拓展成多流空间注意力图卷积SRU。本发明在保持高分类精度的同时，显著地减少方法复杂度，提高了模型的推理速度，达到了计算效率和分类精度的平衡，该方法具有十分广阔的应用前景。

主权项：1.基于多流空间注意力图卷积SRU网络的骨架动作识别方法，其特征在于该方法包括以下主要步骤：步骤1，多流数据融合处理原始数据；定义靠近骨架重心的关节点为父关节i，远离中心的节点为子关节j；在第t帧的骨架中，设父关节vi,t＝xi,t,yi,t,zi,t和子关节vj,t＝xj,t,yj,t,zj,t,则骨骼表示为：ei,j,t＝xj,t-xi,t,yj,t-yi,t,zj,t-zi,t1同样，设vi,t＝xi,t,yi,t,zi,t为第t帧的关节，vi,t+1＝xi,t+1,yi,t+1,zi,t+1为第t+1帧的关节，则两帧间关节点的动态流信息表示为：mi,t,t+1＝xi,t+1-xi,t,yi,t+1-yi,t,zi,t+1-zi,t2基于上述定义，多流数据融合步骤如下：1-1、原始骨架序列数据为关节点流数据,经过上述骨骼的定义式1，得到骨骼流信息数据；1-2、将1-1获得的两流数据拼接后，通过一个全连接层，将数据信息编码成高维向量，作为两流数据的融合特征；1-3、将1-2得到的两流融合数据通过式2获取其动态流数据，再和它拼接后经过全连接层和ReLU激活函数，得到要输入模型的多流融合数据；步骤2，将简单循环单元门结构中的全连接计算替换成图卷积计算，构建图卷积简单循环网络，对骨骼数据的时间和空间依赖关系进行建模；具体是：简单循环单元门使用输入门、遗忘门、重置门完成结构功能，门计算使用全连接计算，为实现对骨架序列数据的建模，将简单循环单元的输入门、遗忘门、重置门的全连接操作通过下面的公式替换成图卷积计算，来捕获骨架动作数据的空间信息： 其中,表示图卷积算子，表示W和xt的图卷积，Wf、Wr表示可学习的参数权重矩阵，bt、br表示偏置量；⊙表示哈达玛积，σ·是sigmoid激活函数，g·表示tanh激活函数；步骤3，在图卷积简单循环网络中引入空间注意力机制空间注意力网络的输入是图卷积简单循环网络的隐藏状态将每个节点的输出信息通过一层全连接层和ReLU激活函数，聚合成一个查询向量Qt： N表示关节点个数，W表示权重矩阵；Qt用于帮助模型给每个关节点不同程度的关注，通过以下公式计算：αt＝SigmoidWqQt+bq9其中αt＝αt1,αt2,...,αtN表示每个关节点的注意力分数，Wq表示权重矩阵，bq表示偏置量；图卷积简单循环网络引入空间注意力机制后，得到空间注意力图卷积简单循环网络，输出变成： 其中fatt·是一种能够选择关键节点信息的空间注意力网络；在经过最后一层空间注意力图卷积简单循环网络后，将所有节点的聚合特征作为全局特征Ftg，将聚焦于节点加权后的特征作为局部特征Ftl，并根据Ftg和Ftl来预测动作类别；将每个时间步长的全局特征和局部特征转换成C类的分数和其中ot＝{ot1,ot2,...,otC}，i类的预测表示成公式13的形式： 其中，表示第t帧第i个节点的GC-SRU网络隐藏层的输出，Hti表示经过注意力网络后的输出；采用下面的损失函数来监督空间注意力图卷积简单循环网络： 其中，Tj表示第j层SAGC-SRU上的时间步长，j是网络层数，C是动作类别数；αtnj表示第j层SAGC-SRU上第t帧中的第n个关节点的注意力分数，y＝{y1,y2,...,yC}表示动作的真实标签，与预测标签进行对比；表示在t时间步长时全局特征预测标签i的概率值,表示局部特征预测标签i的概率值，λ和β是权重衰减系数。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 基于多流空间注意力图卷积SRU网络的骨架动作识别方法