买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连理工大学

摘要：本发明属于人机交互技术领域，涉及人机交互中人体动作的预测，具体为一种基于对抗训练注意力机制的人体动作预测方法。本发明在原始Transformer模型的基础上，对Transformer内部注意力计算机理进行变换优化，设计了一种称为可变形的Transformer模型，用于提取人体运动的时间特征和空间特征，进而捕获长时范围内各个关节点之间的相互依赖关系，从而高效地预测长时范围内的人体动作。其次，本发明引入了对抗训练机制训练所提出的网络模型，将上述生成运动预测的过程作为生成器，并引入连续性判别器和真实性判别器来验证所生成序列的时间平滑性和连续性，以此来缓解首帧不连续问题。

主权项：1.一种基于对抗训练注意力机制的人体动作预测方法，其特征在于，具体包括以下步骤：步骤S1：人体运动数据预处理；首先读取人体动作姿态数据集中全部的3D骨骼点数据，将所有的人体骨骼分解为关节点并嵌入为特征进行表示；具体如下：假设输入的人体动作序列为X，为了进行更好的特征提取，将人体动作序列通过线性层投影到高维特征空间En，n表示人体序列的帧数，每一帧表示某一个时刻的具体动作；并在特征空间中嵌入关节点的正弦位置编码以确定各人体关节点的相对位置；步骤S2：将预处理后的人体动作数据分为时间维度和空间维度，通过基于可变形的Transformer时空注意力机制获取人体动作的时间和空间特征；具体如下：所述的基于可变形的Transformer注意力机制过程如下：首先将注意力计算公式泛化为以下表示： 其中，sim指代相似性计算函数，M表示空间尺度N或时间范围T；i和j分别表示不同的位置；相似性计算函数sim是非负值，因此引入新的核函数由此公式2进一步表示为： 进一步地，将公式3的分子进行向量化，同时利用矩阵乘法的结合律，公式3的分子的计算顺序表示为： 为了保证公式4同样适用于其他注意力的计算，需要保证公式4的计算结果仍然具有分布特性，因此引入一个正相似函数作为核函数函数的具体实现，核函数表达如下： 之后，假设输入序列为X，将X投影成Q、K和V三个矩阵表示，分别将投影矩阵Q和K经核函数进行变换，并改变之前注意力的计算顺序，先将K、V进行矩阵计算获得全局特征向量，再与Q相乘得到最终的注意力分布；在时间维度的注意力计算，通过基于可变形的Transformer注意力机制来获取同一关节点的时间依赖，并以此来更新当前关节点的嵌入信息，具体为：首先将输入X序列嵌入到高维空间其中表示每个输入帧的时间特征表示，n表示输入帧数量，T表示时间序列长度，D表示投影维度；并采用多头注意力机制，通过不同的投影过程获取更多的输入特征信息，具体为：将En投影到多个矩阵表示Qn,i，Kn,i，Vn,i，headi＝AttentionQn,i,Kn,i,Vn,i，其中i代表头的数量；之后将多个头的信息汇总起来得到时间维度的特征信息，Wn,O表示对时间特征进行聚合时的权重矩阵；通过计算各个关节点的时间依赖，最终汇集并更新同一关节点所有时间步的信息；在空间维度的注意力计算，通过基于可变形的Transformer注意力机制关注同一帧中不同关节点之间的空间依赖关系，即获取某一关节点对其他关节点的注意程度，明确地从数据中学习人体动态模式和各关节位置之间的空间相互依赖，具体为：首先将输入X序列嵌入到高维空间其中表示每个输入帧的空间特征表示，n表示输入帧数量，T表示时间序列长度；并采用多头注意力机制，具体为：将Et投影到多个矩阵表示Qi，Ki，Vi，其中i代表头的数量；之后将多个头的信息汇总起来得到空间维度的特征信息WO表示对空间特征进行聚合时的权重矩阵，对同一时刻的所有关节信息进行特征聚合；步骤S3：聚合人体动作的时间信息和空间信息来预测下一帧人体动作；具体如下：通过步骤中S2提取到了人体动作的时间和空间特征，分别汇集了时间信息和空间信息，通过把两者进行相加融合得到人体动作的全维度信息，构建下一帧的关节点，进而组成整体骨骼，即下一时刻的人体动作；依次重复，生成人体动作序列；步骤S4：将生成的人体动作序列过程作为生成器，引入对抗训练机制来生成更加真实的人体动作；具体如下：将步骤S3的人体动作生成序列过程作为生成器，并且设计一个真实性判别器和一个连续性判别器；真实性判别器通过损失函数最小化生成的人体动作序列分布Pg和真实动作序列分布之间Pr的距离，使生成的人体姿势更真实；连续性判别器促使生成的序列与历史观测序列的衔接更加平滑，以解决首帧不连续问题；假设生成的序列为真实序列是X，为数据分布的期望值，为生成的序列与实际数据之间的插值，则对抗训练机制优化训练网络方式通过以下损失函数Ladv进行： 其中，λ为惩罚系数。

全文数据：

权利要求：

百度查询： 大连理工大学 一种基于对抗训练注意力机制的人体动作预测方法