买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:本申请公开了一种手语识别方法、设备、可读存储介质及产品,涉及手语识别技术领域,Transformer模型包括第一编码器堆栈、第二编码器堆栈与生成器,方法包括:获取第一输入数据与第二输入数据,其中,第一输入数据与第二输入数据表征两种不同模态的数据;将第一输入数据输入至第一编码器堆栈,将第二输入数据输入至第二编码器堆栈;在第一编码器堆栈与第二编码器堆栈中,对于存在有对应的关系的第一编码器与第二编码器,将融合加权值向量分别输入至第一编码器与第二编码器;将第一编码器堆栈输出的第一编码矩阵与第二编码器堆栈输出的第二编码矩阵输入至生成器中得到手语识别结果。本申请提高了手语识别结果的准确度。
主权项:1.一种手语识别方法,其特征在于,所述手语识别方法基于Transformer模型进行手语识别,所述Transformer模型包括第一编码器堆栈、第二编码器堆栈与生成器,所述第一编码器堆栈包括至少一个依次连接的第一编码器,所述第二编码器堆栈包括至少一个依次连接的第二编码器,所述手语识别方法包括以下步骤:获取第一输入数据与第二输入数据,其中,所述第一输入数据与所述第二输入数据表征两种不同模态的数据;将所述第一输入数据输入至所述第一编码器堆栈,将所述第二输入数据输入至所述第二编码器堆栈;在所述第一编码器堆栈与所述第二编码器堆栈中,对于存在有对应的关系的第一编码器与第二编码器,将融合加权值向量分别输入至所述第一编码器与所述第二编码器,其中,所述融合加权值向量为第一加权和值向量与第二加权值向量的加权和向量,所述第一加权和值向量为所述第一编码器计算得到的加权值向量,所述第二加权和值向量为所述第二编码器计算得到的加权值向量;将所述第一编码器堆栈输出的第一编码矩阵与所述第二编码器堆栈输出的第二编码矩阵输入至所述生成器中得到手语识别结果。
全文数据:
权利要求:
百度查询: 歌尔科技有限公司 手语识别方法、设备、可读存储介质及产品
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。