买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉电子科技大学申请的专利一种基于跨模态对偶图对齐的参考图像分割方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115713538B 。

龙图腾网通过国家知识产权局官网在2025-08-29发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211445260.0，技术领域涉及：G06T7/11；该发明授权一种基于跨模态对偶图对齐的参考图像分割方法是由吴庆波;施兆丰;李宏亮;孟凡满;许林峰;潘力立设计研发完成，并于2022-11-18向国家知识产权局提交的专利申请。

本一种基于跨模态对偶图对齐的参考图像分割方法在说明书摘要公布了：本发明公开了一种基于跨模态对偶图对齐的参考图像分割方法，属于多模态图像分割领域。本发明创新性的提出了“部分‑统一‑整体”的范式，即将提取得到的视觉与文本特征先映射至一个统一的潜在表征结构，再进行跨模态融合。这有利于模型提取的显式对齐信息，可以有效增强最终的分割效果。

本发明授权一种基于跨模态对偶图对齐的参考图像分割方法在权利要求书中公布了：1.一种基于跨模态对偶图对齐的参考图像分割方法，该方法包括： 步骤1：为了进一步增强文本信息以及促进后续对句子长距离上下文的捕获，首先对输入的文本进行预处理；预处理包括单词词性标注以及基于依赖解析树的方法获取句法结构； 使用现有开源的自然语言处理依赖库：SpaCy来实现，对于单词词性标注，将单词词性类别缩减为7类：名词、形容词、动词、介词、副词、其他词性以及补零位置，并且使用独热编码去表示这7类词性； 采用依赖解析树的方法获得了句子中词与词之间的从属关系，为后续构建图结构做准备； 步骤2：将图像I与文本表达式S分别输入各自模态的编码器，得到4个尺度视觉特征Vi与文本特征L，i＝0,1,2,3；随后，将步骤1中提取得到的词性独热编码经过一个多层全连接层编码网络，获得词性特征P，最后，将文本特征L与词性特征P进行元素级相乘，使每个单词对应的特征与它的词性特征得到充分的融合，具体公式如下： LP＝ReLUConvL⊙P 其中，⊙表示矩阵元素级相乘操作，Conv表示卷积层，ReLU代表激活函数，LP表示融入了词性信息的文本特征； 步骤3：对于最低级别的视觉特征V0，进行跨模态融合； 首先，将从文本编码器中得来的文本初始特征L经过一个线性映射层与Softmax计算函数，得到每个单词特征对应的权重ω；根据权重，对文本特征L中，每一个单词对应的特征向量作加权和操作，得到句子的整体特征向量hc；最后，将hc平铺，并将其与V0以及人为定义的空间坐标O0沿着通道维度作拼接操作，并通过一个卷积层输出这个尺度下最终的多模态特征M0；具体公式表示为： M0＝Conv[V0；Tilehc；O0] 其中，Tile表示平铺操作，[；]表示拼接操作，Conv表示卷积层； 步骤4：对于较高级的视觉特征V1、V2与V3，利用对偶图模块与层次化交互模块来进行跨模态融合；对V1、V2与V3的操作均相同，下文中省略各自对应的下标来进行方法阐释； 首先是提取实体，将融入了词性信息的文本特征LP视作文本实体，并且以LE表示，在视觉方面，将空间坐标O与视觉特征V拼接后卷积，得到视觉实体VE；然后使用实体级HIM对不同模态的实体进行交互，得到实体级多模态特征ME；随后，构建视觉图与文本图，对视觉实体VE与文本实体LE分别进行模态内的图推理，更新后的基于图的视觉与文本特征分别用VG与LG表示；接着使用图级HIM对不同模态的基于图的特征进行交互，得到图级多模态特征MG；最后，将ME与MG进行拼接操作，实现实体级交互结果与图级层次化交互结果的整合，得到该尺度下的最终的多模态特征M； 步骤5：经过上述步骤后，获得了不同尺度的多模态特征Mi，i＝0,1,2,3，设计了一种由高到低的路径来整合各个尺度上的多模态特征，具体公式为： 其中，Upsample代表上采样操作，[；]表示拼接操作，Conv表示卷积层； 步骤6：将Y0输入多层卷积层组成的分割头，并且对输出进行上采样，获得最终的预测结果使用二值交叉熵函数作为损失函数，并用Y表示分割真实值，预测损失表示为： 其中，下标i,j表示预测结果和真实值的像素位置；H与W表示真实图像掩码的尺寸。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人电子科技大学，其通讯地址为：611731 四川省成都市高新区（西区）西源大道2006号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。