买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:本申请公开了一种手语识别方法、设备、可读存储介质及产品,涉及手语识别技术领域,Transformer模型包括第一编码器堆栈、第二编码器堆栈与生成器,方法包括:对于第一编码器堆栈中的每一层第一编码器,若存在与第一编码器对应的第二编码器,则将第一编码器的第一查询矩阵与第一键矩阵输入至与第一编码器对应的第二编码器;对于第二编码器堆栈中的每一层第二编码器,若存在与第二编码器对应的第一编码器,则将第二编码器的第二查询矩阵与第二键矩阵输入至与第二编码器对应的第一编码器;将第一编码器堆栈输出的第一编码矩阵与第二编码器堆栈输出的第二编码矩阵输入至生成器中得到手语识别结果。本申请提高了基于手语识别结果的准确度。
主权项:1.一种手语识别方法,其特征在于,所述手语识别方法基于Transformer模型进行手语识别,所述Transformer模型包括第一编码器堆栈、第二编码器堆栈与生成器,所述第一编码器堆栈包括至少一个依次连接的第一编码器,所述第二编码器堆栈包括至少一个依次连接的第二编码器,所述手语识别方法包括以下步骤:获取第一输入数据与第二输入数据,其中,所述第一输入数据与所述第二输入数据表征两种不同模态的数据;将所述第一输入数据输入至所述第一编码器堆栈,对于所述第一编码器堆栈中的每一层第一编码器,若存在与所述第一编码器对应的第二编码器,则将所述第一编码器的第一查询矩阵与第一键矩阵输入至与所述第一编码器对应的第二编码器;将所述第二输入数据输入至所述第二编码器堆栈,对于所述第二编码器堆栈中的每一层所述第二编码器,若存在与所述第二编码器对应的第一编码器,则将所述第二编码器的第二查询矩阵与第二键矩阵输入至与所述第二编码器对应的第一编码器;将所述第一编码器堆栈输出的第一编码矩阵与所述第二编码器堆栈输出的第二编码矩阵输入至所述生成器中得到手语识别结果。
全文数据:
权利要求:
百度查询: 歌尔科技有限公司 手语识别方法、设备、可读存储介质及产品
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。