买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜复旦大学申请的专利图像文本对的判断方法和装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115017356B 。

龙图腾网通过国家知识产权局官网在2025-05-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210615255.3，技术领域涉及：G06F16/583；该发明授权图像文本对的判断方法和装置是由魏忠钰;范智昊设计研发完成，并于2022-06-01向国家知识产权局提交的专利申请。

本图像文本对的判断方法和装置在说明书摘要公布了：本申请实施例提供了一种图像文本对的判断方法，包括以下步骤根据图片的句子级语义标签生成短语级语义标签；建立模态间关系模型和模态内关系模型；根据全局配对、局部配对和短语配对计算图片文本匹配度，全局配对由模态间关系模型和模态内关系模型生成整体图片和句子的相似度，局部配对由模态间关系模型生成图片和字符短语之间相似度以及句子和图片区域之间的相似度，短语配对在图片和字符短语相似度的基础上，根据短语级语义标生成。在跨模态语义编码当中，本申请通过引入短语节点来扩展自注意力编码器输入，并在编码过程中保持短语与单词的层次结构关系，以实现更好的多粒度语义建模。本申请提供了短语级别的细粒度损失函数来指导模型区分不匹配的句子，使模型更多地基于不相关的局部部分做出决策。这方法不仅有助于模型获得更好的检索性能，而且使之具有可解释性和可信度。

本发明授权图像文本对的判断方法和装置在权利要求书中公布了：1.一种图像文本对的判断方法，其特征在于，包括以下步骤：根据图片的句子级语义标签生成短语级语义标签；建立模态间关系模型和模态内关系模型，采用掩码自注意力机制，建立模态间关系模型；其中，所述掩码自注意力机制包括：1在视觉端，所有的区域节点和全局句子节点互相不进行注意力操作；2在语言端，所有的短语、词节点和全局图像节点之间不进行注意力操作；3每个短语节点和不包含在短语本身中的任何其他单词都不进行注意力操作；根据全局配对、局部配对和短语配对计算图片文本匹配度，其中，所述全局配对由所述模态间关系模型和所述模态内关系模型生成，所述局部配对由所述模态间关系模型生成，所述短语配对在局部匹配的基础上，由所述短语级语义标签生成。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人复旦大学，其通讯地址为：200433 上海市杨浦区邯郸路220号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。