买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州电子科技大学

摘要：本发明公开了一种基于云‑边‑端架构的工人作业行为识别方法、系统、设备及存储介质，该方法首先获取工业人员的行为数据，根据所述行为数据获取人体关键点信息。其次通过图卷积模块和多尺度时间卷积模块对人体关键点信息，进行聚合特征处理。最后通过分类模块，基于聚合特征输出工业人员对应的行为类型。该系统包括获取模块、处理模块和识别模块。本发明能够充分利用人体关键点的空间维度和时间维度上的信息，从而获得的人体关键点特征更为准确，并减少了空间维度上的关节特征或者是时间维度上的关节特征的信息丢失，以此提高识别精度。

主权项：1.一种基于云-边-端架构的工人作业行为识别方法，其特征在于，包括以下步骤：S1，获取工业人员的行为数据，根据行为数据获取人体关键点信息Hp；S2，通过图卷积模块和多尺度时间卷积模块对人体关键点信息Hp，进行聚合特征处理；具体实现过程如下：S21，将所述人体关键点信息Hp中的二维关键点序列X2n和三维关键点序列X3n输入基于自注意力的图卷积模块，利用关键点特征的自注意力机制对人体关节的相对位置提供补充特征，获取各个行为类型对应的人体关键点的自注意力图；具体实现过程如下：根据关节的相对位置将所述关键点序列信息分别定义为源关节和目标关节，通过时间t处的关节关系为人体关节的相对位置提供补充特征： 式中，为人体关节的第k∈[1,K]模态，不同的k值表示为关节提供不同的空间特征，Xt表示时间t处的人体关节信息，I为单位阵，P表示源关节和目标关节关系的二元矩阵，Pk表示二元矩阵P的k次幂；在所有的人体关节V中，对于v∈V，有定义：K＝maxdv+1式中，dv表示顶点v和质心之间的最短跳数；基于自注意力机制得到所述源关节的多头自注意力信息和目标关节的多头自注意力信息，结合可随时间变换的归一化邻接矩阵获取人体关键点的内在拓扑： 式中，自注意力图和共享拓扑具有M2个头，对于1≤m≤M2，表示第l层中第m个头的归一化邻接矩阵，⊙表示逐元素乘积，表示将时间t处第l层中的内在拓扑输入至第m个头的自注意力计算结果，表示第l层中第m个头的学习参数，σ·表示非线性激活函数；将人体关键点的内在拓扑Ht作为键值进行自注意力图求解；S22，将所述二维关键点序列X2n和所述三维关键点序列X3n输入多尺度时间卷积模块，由具有不同内核的卷积分支对人体关节进行残差连接，获取各个行为类型对应的人体关键点的时间信息；S23，基于自注意力图与对应的时间信息，进行点对点相加，完成特征聚合；S3，聚合特征通过分类模块，输出工业人员对应的作业行为类型。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 一种基于云-边-端架构的工人作业行为识别方法、系统、设备及存储介质