买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中国银行股份有限公司申请的专利基于多模态信息的查询方法、装置、服务器、介质及产品获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114722150B 。

龙图腾网通过国家知识产权局官网在2025-04-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210366641.3，技术领域涉及：G06F16/3329；该发明授权基于多模态信息的查询方法、装置、服务器、介质及产品是由宋雨;李敬文;陈欢;赵辉;杨晓明;程璐;黄康;简苡霖;程轼博;柏莹;王舒倩设计研发完成，并于2022-04-08向国家知识产权局提交的专利申请。

本基于多模态信息的查询方法、装置、服务器、介质及产品在说明书摘要公布了：本申请公开了基于多模态信息的查询方法、装置、服务器、介质及产品，可应用于金融领域或其他领域。本申请在获得多模态信息后，若多模态信息包括视频，从视频中获取多帧目标视频图像，目标视频图像包含目标对象针对电子设备执行的动作；若多模态信息包括语音信息，从语音信息中获取目标语音片段，目标语音片段为目标对象针对电子设备发出的语音；基于目标多模态信息进行查询，由于目标多模态信息包括多帧目标视频图像、目标语音片段以及文本信息中的至少两种，不包括不是针对电子设备执行的动作和语音，所以基于目标多模态信息得到的目标知识点更加准确，即基于目标多模态信息查询得到的目标知识点是目标对象期望得到的命中结果。

本发明授权基于多模态信息的查询方法、装置、服务器、介质及产品在权利要求书中公布了：1.一种基于多模态信息的查询方法，其特征在于，包括：确定与电子设备进行交互的目标对象；获取所述目标对象的多模态信息，所述多模态信息包括：包含所述目标对象执行的动作的视频、所述目标对象的语音信息以及所述目标对象在所述电子设备中输入的文本信息中的至少两种；若所述多模态信息包括所述视频，按照预设时间间隔顺序从所述视频中抽取，以得到多帧候选视频图像；针对每一帧候选视频图像，获取聚焦区域图像以及所述目标对象在执行所述候选视频图像包含的动作时所述目标对象的人脸的朝向与所述电子设备的相对角度，所述聚焦区域图像包括在所述目标对象执行所述候选视频图像中的动作时所述目标对象的视线聚焦的对象；针对每一帧候选视频图像，将所述候选视频图像、所述候选视频图像对应的所述聚焦区域图像以及所述候选视频图像对应的所述相对角度输入至预先构建的动作防干扰模型，通过所述动作防干扰模型获得所述候选视频图像的动作预测结果，所述动作预测结果为所述候选视频图像包含的动作是针对所述电子设备执行的动作或所述候选视频图像包含的动作不针对所述电子设备执行的动作；将所述动作预测结果为候选视频图像包含的动作是针对所述电子设备执行的动作的候选图像确定为目标视频图像，所述目标视频图像包含所述目标对象针对所述电子设备执行的动作；若所述多模态信息包括所述语音信息，从所述语音信息中获取目标语音片段，所述目标语音片段为所述目标对象针对所述电子设备发出的语音；从知识库中查询与目标多模态信息相匹配的目标知识点，所述目标多模态信息包括多帧目标视频图像、所述目标语音片段以及所述文本信息中的至少两种，所述知识库包括多个知识点，每一所述知识点包括视频模态的知识、语音模态的知识以及文本模态的知识中的至少两种，所述视频模态的知识、语音模态的知识以及文本模态的知识为针对同一知识点的不同模态的表现形式。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国银行股份有限公司，其通讯地址为：100818 北京市西城区复兴门内大街1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。