买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京科技大学

申请日：2024-12-31

公开（公告）日：2025-01-28

公开（公告）号：CN119380033A

专利技术分类：..图像区域中的图案分割；切割或合并图像元素以建立图案区域，例如基于聚类的技术；遮挡检测[2022.01]

专利摘要：本发明公开一种遥感图像指代分割方法和系统，包括：将图像和指代文本输入第一阶段的指代检测模型，文本编码模块将指代文本映射为文本序列，语义词性特征提取模块对文本序列进行注意力加权，得到融合文本词性特征的文本特征，图像编码模块对图像进行初步的图像特征提取，将文本特征和图像特征拼接后输入特征提取器输出检测框和输出特征，将输出特征输入加权点回归任务头，预测输出关键点；将初始图像作为输入，检测框和关键点作为双提示，输入第二阶段的双提示分割模型，第二阶段图像编码器将图像编码为图像嵌入，双提示编码器将双提示编码，掩码解码器将图像嵌入和双提示编码进行特征融合得到最终的分割结果。本发明可以遥感图像进行指代分割。

专利权项：1.一种遥感图像指代分割方法，其特征在于，所述方法包括：S1、获取需要进行分割的图像和指代文本；S2、将所述图像和指代文本输入训练完成的第一阶段的指代检测模型，所述指代检测模型包括文本编码模块、语义词性特征提取模块、图像编码模块、基于Transformer的特征提取器和加权点回归任务头，所述文本编码模块将所述指代文本映射为文本序列，所述语义词性特征提取模块对所述文本序列进行注意力加权，得到融合文本词性特征的文本特征，所述图像编码模块对所述图像进行初步的图像特征提取，将所述文本特征和图像特征拼接后输入所述特征提取器，进一步提取深层文本特征和图像特征，输出检测框和输出特征，将所述输出特征输入所述加权点回归任务头，进行关键点特征提取，预测输出关键点；S3、将初始的所述图像作为输入，将所述检测框和关键点作为双提示，输入训练完成的第二阶段的双提示分割模型，所述双提示分割模型包括第二阶段图像编码器、双提示编码器和掩码解码器，所述第二阶段图像编码器将所述图像编码输出为图像嵌入，所述双提示编码器将第一阶段获得的双提示进行编码，所述掩码解码器将所述图像嵌入和双提示编码进行特征融合，预测得到最终的分割结果；所述文本编码模块，使用字节对编码BPE作为文本编码器，将所述指代文本映射为文本序列L；所述语义词性特征提取模块，使用自然语言处理工具包NLTK作为语义词性特征提取器对文本进行词性特征提取，得到对应于每一个单词的词性描述{n.,a.,…,p.}，并通过BPE转化为词性序列={,,…，}，代表最大文本长度，用提取到的所述词性序列和所述文本序列L做加权交叉注意力，并且设置查询加权环节，使文本特征更加偏重于名词以及和位置信息相关的副词，加入大于1的超参数和，对于词性序列的可学习查询权重={,…，}，当对应位置的文本词性为名词时，对应位置查询权重变为，当对应位置的文本词性为副词时，对应位置查询权重变为，其余位置权重变为，最终查询权重为={,…，}，对于所述文本序列L设置可学习的键权重和值权重，经过以下交叉注意力运算得到语义词性加强的文本特征： ； ；其中为Q和K的维度；所述图像编码模块，使用可学习的残差网络作为第一阶段图像编码器，将图像划分为n个patch，并每个patch转换为维度为h的图像特征；所述特征提取器，由12个Transformer层堆叠而成，在最后一个Transformer的输出层接上检测框任务头和所述加权点回归任务头，输出得到包含检测框和关键点的双提示。

百度查询： 北京科技大学 一种遥感图像指代分割方法和系统