买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：广东宜通联云智能信息有限公司

摘要：本发明公开了基于多模态融合的手势识别方法、装置、设备及介质，方法包括：获取多模态数据；对多模态数据进行预处理，提取不同模态的特征；根据不同模态的特征，通过模型正则化方法确定目标模型中融合层的神经元与各个模态之间的第一关联度；根据不同模态的特征，通过注意力机制学习不同模态之间的第二关联度；根据第一关联度和第二关联度，确定不同模态的融合结果；根据融合结果进行模型训练，得到目标模型；通过目标模型对待识别图像进行识别，确定手势类别。本发明实现了多模态信息细致的自动融合，不仅充分利用模态之间的关联，还抑制模态之间的噪声干扰，提高了模型的检测精度以及手势识别的准确率，可广泛应用于人工智能技术领域。

主权项：1.基于多模态融合的手势识别方法，其特征在于，包括：获取多模态数据；对所述多模态数据进行预处理，提取不同模态的特征；根据不同模态的特征，通过模型正则化方法确定目标模型中融合层的神经元与各个模态之间的第一关联度；根据所述不同模态的特征，通过注意力机制学习不同模态之间的第二关联度；根据所述第一关联度和所述第二关联度，确定不同模态的融合结果；根据所述融合结果进行模型训练，得到目标模型；通过目标模型对待识别图像进行识别，确定手势类别；所述对所述多模态数据进行预处理，提取不同模态的特征，包括：确定所述多模态数据中的视频模态数据、音频模态数据和骨骼模态数据；通过3D卷积和2D卷积方法获取视频模态数据中的视频表征，所述视频表征彩色模态和深度模态；通过卷积方法获取音频模态数据中的音频表征；通过全连接层获取骨骼模态数据中的骨骼表征；所述根据不同模态的特征，通过模型正则化方法确定目标模型中融合层的神经元与各个模态之间的第一关联度，包括：将不同模态进行拼接，得到初始融合层；根据所述初始融合层，确定目标模型的所有融合层，并确定所有融合层的神经元；确定所述神经元的初始权重矩阵和自定义掩码矩阵；根据所述初始权重矩阵和所述自定义掩码矩阵，确定目标权重矩阵；根据所述目标权重矩阵，确定神经元与各个模态之间的第一关联度；所述根据所述初始权重矩阵和所述自定义掩码矩阵，确定目标权重矩阵，具体为：将所述初始权重矩阵和所述自定义掩码矩阵的乘积，确定为所述目标权重矩阵。

全文数据：

权利要求：

百度查询： 广东宜通联云智能信息有限公司 基于多模态融合的手势识别方法、装置、设备及介质