买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜杭州电子科技大学申请的专利基于自然语言和计算机视觉结合的工业机器人调试方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114691516B 。

龙图腾网通过国家知识产权局官网在2025-05-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210375780.2，技术领域涉及：G06F11/362；该发明授权基于自然语言和计算机视觉结合的工业机器人调试方法是由胡海洋;李川豪;陈洁;李忠金设计研发完成，并于2022-04-11向国家知识产权局提交的专利申请。

本基于自然语言和计算机视觉结合的工业机器人调试方法在说明书摘要公布了：本发明公开一种基于自然语言和计算机视觉结合的工业机器人调试方法。本发明将自然语言描述通过word2vec网络和线性层来生成语义信息。通过三维循环卷积神经网络提取工业机器人环境特征。将环境特征输入到长短期记忆网络生成中间上下文，将中间上下文作为GRU网络的输入通过循环神经网络RNN得到API推荐。将自然语言描述通过word2vec网络生成的文本嵌入输入长短期记忆网络编码器和长短期记忆网络解码器，输出AST构建动作序列，将API推荐和构建动作序列结合生成工业机器人调试代码。将调试代码加入到机器人程序编辑器中完成调试。本发明有效提高机器人调试的开发效率，减少工业环境中机器人产线的部署时间。

本发明授权基于自然语言和计算机视觉结合的工业机器人调试方法在权利要求书中公布了：1.一种基于自然语言和计算机视觉结合的工业机器人调试方法，其特征在于包括以下步骤：步骤1、将描述机器人动作代码的自然语言描述生成语义信息步骤2、环境特征提取将工业机器人所在工业环境的图像数据作为三维循环卷积网络的输入，从而输出环境视觉特征；步骤3、API推荐生成3-1利用步骤2中生成的环境视觉特征输入长短期记忆网络编码器中进行编码生成中间语义向量；具体如下：将环境视觉特征f作为长短期记忆网络的输入，生成隐藏状态向量g，随后将隐藏状态向量g转化为中间语义向量；gt＝LSTMft,gt-1）5其中gt为t时刻的隐藏状态向量，gt-1表示t-1时刻的隐藏状态向量，ft为t时刻的环境视觉特征，LSTM为长短期记忆网络函数；3-2根据步骤1生成的语义向量S初始化GRU网络，然后将步骤3-1生成的中间语义向量转化为隐藏状态向量，随后将隐藏状态向量输入至初始化后的GRU网络生成中间向量；具体如下：3-2-1根据步骤1生成的语义向量初始化GRU网络；3-2-2将步骤3-1生成的中间语义向量转化为隐藏状态向量r，将隐藏状态向量r作为GRU网络的输入，生成中间向量k；kt＝GRUrt,kt-16其中kt为t时刻的中间向量，GRU是GRU函数，kt-1是t-1时刻的中间向量，rt是t时刻的隐藏状态向量；3-3利用步骤3-2生成的中间向量k通过循环神经网络来生成API推荐列表；具体如下：根据步骤3-2生成的中间向量作为循环神经网络RNN的输入，然后通过softmax层归一化获得API推荐列表的概率分布；P＝softmaxRNNk7 其中P是API推荐列表的概率分布，softmax是归一化指数函数,RNN是循环神经网络函数，τi是循环神经网络输出的第i个API推荐的预测概率，yi是真实情况的API推荐，是损失率；步骤4、工业机器人的目标代码编程4-1根据公式1利用word2vec网络将描述机器人动作代码的自然语言描述转化为文本嵌入向量E；4-2使用步骤4-1文本嵌入向量E作为长短期记忆网络编码器的输入，然后将输出输入到长短期记忆网络解码器中，生成AST树的构建动作序列；具体如下：4-2-1将文本嵌入向量E作为长短期记忆网络编码器LSTM-Encoder的输入，生成隐藏状态向量h，随后将隐藏状态向量转化为中间语义向量；ht＝LSTMeet,ht-19其中ht为t时刻的隐藏状态向量；LSTMe表示长短期记忆网络编码器函数，et表示t时刻的嵌入向量，ht-1表示t-1时刻的隐藏状态向量；4-2-2将中间语义向量转化为隐藏状态向量θ，将隐藏状态向量θ作为长短期记忆网络解码器LSTM-Decoder的输入； 其中θt为t时刻的隐藏状态，θt-1为t-1时刻的隐藏状态,LSTMd表示长短期记忆网络解码器函数，[:]表示向量联合特征，at-1表示t-1时刻AST树构建动作，表示t-1时刻隐藏状态的注意力向量，βt为推导过程中包含父亲边界信息的向量，为t时刻隐藏状态的注意力向量，ht是上下文向量，Wc为连接层函数，tanh为双曲正切函数；4-2-3生成AST树的构建动作序列，具体是： 其中ApplyConstr[c]是AST树抽象语法树构建动作中的其中一种动作类型，该动作将构造操作c应用到与c具有相同类型的边界字段上，该字段用来填充节点；pat＝ApplyConstr[c]|at,x表示在t时刻之前的动作信息和自然语言描述下动作ApplyConstr[c]的概率，at是表示t时刻AST树构建动作，at表示t时刻之前的AST树构建动作信息，x是自然语言单词，softmax为归一化指数函数，ac为构造操作c的AST树构建动作，T为向量转置，W为连接层函数，为t时刻隐藏状态的注意力向量；pat＝GenToken[v]|at,x＝pgen|at,xpv|gen,at,x+pcopy|at,xpv|copy,at,x13其中GenToken[v]是AST树构建动作中的另一种动作类型，该动作将AST树边界字段填充为代码v；pat＝GenToken[v]|at,x表示在时间片之前的动作信息和自然语言描述下动作GenToken[v]的概率，at是表示t时刻AST树构建动作，at表示t时刻之前的AST树构建动作信息，x是自然语言单词，gen为生成操作，copy为复制操作；最后将公式12-13得到AST树的所有构建动作，进而得到AST树的构建动作序列；4-2-4结合步骤3生成的API推荐列表和步骤4-2-3生成的AST树的构建动作序列来输出最终的机器人代码；步骤5、完成机器人调试利用步骤4-2-4所得代码输入至机器人程序编辑器的任务模块中，完成工业机器人的调试。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州电子科技大学，其通讯地址为：310018 浙江省杭州市下沙高教园区2号大街；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。