买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉济南大学申请的专利多模态融合的人机交互的意图理解方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119068554B 。

龙图腾网通过国家知识产权局官网在2025-11-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411269806.0，技术领域涉及：G06V40/20；该发明授权多模态融合的人机交互的意图理解方法及系统是由徐涛;李兆玉;杨晓晖;朱光泽;孙佳慧设计研发完成，并于2024-09-11向国家知识产权局提交的专利申请。

本多模态融合的人机交互的意图理解方法及系统在说明书摘要公布了：本申请公开了一种多模态融合的人机交互意图理解方法及系统。其实现步骤为：麦克风捕获语音，再转换为文字；摄像头捕获帧序列；文字与帧序列通过判断门判断输入是否为空；如果内容为文字，则文字通过特征提取模块，得到文本特征；如果为文字与帧序列，则帧序列通过门控模块判断手势类型；如果为动态手势，则帧序列通过网络提取特征，与文本特征通过特征融合模块进行融合；如果为静态手势，则静态手势通过特征提取模块提取特征，与文本特征通过融合网络进行融合；如果输入内容为动态手势，则帧序列通过时间空间特征网络；最终进行意图分类。本发明形成一个完整的多模态融合网络，作为机器人进行意图理解的重要过程，可以更好提高意图理解准确率。

本发明授权多模态融合的人机交互的意图理解方法及系统在权利要求书中公布了：1.一种多模态融合的人机交互意图理解方法，其特征在于，所述方法包括： 数据的预处理，并将预处理后的数据输入到判断门； 若帧序列内容非空，将帧序列输入到门控模块，判断手势类型； 动态手势通过特征提取网络提取动态手势的时间与空间信息； 静态手势通过边缘特征提取网络提取特征； 文字通过TransformerTextEncoder提取文本特征； 将得到的特征通过多模态融合模块进行特征融合，并通过MLP进行意图的输出；具体包括： 判断输入只有动态手势，将得到的时空特征传递给MLP进行意图预测； 判断输入只有文字，将得到的文本特征传递给MLP进行意图预测； 判断输入有动态手势和文字，将手势特征与文本特征分别通过共享参数的TransformerEncoder，进行多模态的语义对齐，增强两种模态的交互，然后将输出的特征进行concat通道拼接，拼接后的特征输入到多模态融合网络中进行预测； 判断输入有静态手势和文字，文字通过TransformerTextEncoder提取文字特征f1，静态手势通过DCN网络提取边缘特征，再进行注意力池化得到特征f2；将文字特征f1和特征f2通过共享参数的TransformerEncoder融合，并进行通道拼合；将通道拼合后的特征通过ResNet网络处理得到特征f3；并将文字特征f1和特征f2通过双向交叉注意力机制处理，获得文本到图像的注意力特征f4和图像到文本的注意力特征f5；将特征f3与特征f4进行concat通道拼接，获得特征f6；将特征f6通过1x1卷积进行跨通道信息融合，并与特征f5进行concat通道拼接，获得特征f7；将特征f7通过自注意力机制层处理，并输入到MLP进行分类； 最终将得到的预测指令传递给机器人进行相应任务的执行。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人济南大学，其通讯地址为：250022 山东省济南市市中区南辛庄西路336号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。