买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉重庆邮电大学申请的专利一种基于多模态融合的互动式图像检索方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119622013B 。

龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411679586.9，技术领域涉及：G06F16/583；该发明授权一种基于多模态融合的互动式图像检索方法是由刘颖格;戴大伟;贾明明;李湛源;廖振淳;夏书银;王国胤设计研发完成，并于2024-11-22向国家知识产权局提交的专利申请。

本一种基于多模态融合的互动式图像检索方法在说明书摘要公布了：本发明属于图像检索领域，具体涉及一种基于多模态融合的互动式图像检索方法；包括：采用深度神经网络模型对文本、素描和图像进行编码，得到文本嵌入向量、素描嵌入向量和图像嵌入向量；融合文本嵌入向量和素描嵌入向量，得到融合嵌入向量；根据图像嵌入向量和融合嵌入向量构建奖励函数；构建包含奖励函数的强化学习模型并训练，当达到预设的训练次数时，完成模型训练；实时获取用户的素描以及用户对检索对象的文本描述，将素描和文本输入到训练好的强化学习模型中进行实时检索，模型反馈给用户检索到的图像；用户根据反馈图像进一步优化素描，直至检索到用户满意的目标图像；本发明可保证检索反馈的稳定性能，实现了更优质的检索体验。

本发明授权一种基于多模态融合的互动式图像检索方法在权利要求书中公布了：1.一种基于多模态融合的互动式图像检索方法，其特征在于，包括： S1：获取多模态数据集，包括文本、素描和图像；采用深度神经网络模型对多模态数据进行编码，得到文本嵌入向量、素描嵌入向量和图像嵌入向量； 深度神经网络模型包括图像分支和文本分支；图像分支包括图像编码器和全连接层，用于处理图像和素描；文本分支包括文本编码器和全连接层，用于处理文本； S2：融合文本嵌入向量和素描嵌入向量，得到融合嵌入向量； S3：根据图像嵌入向量和融合嵌入向量构建奖励函数；构建奖励函数的过程包括： 根据每笔素描下对应的目标图像排名的倒数作为图像相似度奖励； 根据融合嵌入向量与目标图像嵌入向量计算多模态特征融合奖励；计算多模态特征融合奖励的公式为： 其中，表示多模态特征融合奖励，表示融合嵌入向量v*与目标图像嵌入向量的相似度； 根据素描步数计算步数惩罚，设计误差调整和平稳期奖励；将图像相似度奖励作为基础奖励；根据基础奖励、步数惩罚、误差调整与平稳期奖励计算全局奖励；计算步数惩罚的公式为： 其中，表示第i步的步数惩罚，step表示当前步数，totalq表示最大步数； 误差调整表示为： 其中，RErr表示误差调整值，α表示调整系数，Ri表示表示第i步时的基础奖励，Ri-SErrA表示表示当前步骤i之前的SErrA个步骤时的基础奖励，SErrA表示的间隔步数； 平稳期奖励表示为： 其中，表示第i步的平稳期奖励值，Ranki表示目标图像在第i步时的排名，PlatB表示平稳期阈值； 将图像相似度奖励、多模态特征融合奖励与全局奖励之和作为总奖励构建奖励函数； 计算全局奖励的公式为： 其中，表示第i步的全局奖励，SErrA表示奖励误差阈值，n表示素描总步数； S4：构建包含奖励函数的强化学习模型并训练，当达到预设的训练次数时，完成模型训练； S5：实时获取用户的素描以及用户对检索对象的文本描述，将素描和文本输入到训练好的强化学习模型中进行实时检索，模型反馈给用户检索到的图像；用户根据反馈图像进一步优化素描，直至检索到用户满意的目标图像。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人重庆邮电大学，其通讯地址为：400065 重庆市南岸区南山街道崇文路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。