买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明属于计算机视觉中的场景分割技术领域，提供了一种基于全方位感知的伪装目标图像分割方法，设计了一种面向精确伪装目标分割的新型全方位感知网络，其中提出了金字塔定位模块和双聚焦模块，来耦合局部特征和全局表示，以便更准确地定位伪装目标并精细划分边界，解决计算机视觉中伪装目标分割的问题。本发明的方法伪装目标分割的结果，同时在不同场景下具有有效性和实用性。

主权项：1.一种基于全方位感知的伪装目标图像分割方法，其特征在于，步骤如下：步骤1、构建伪装目标分割网络OPNet伪装目标分割网络OPNet主要由特征提取器、一个金字塔定位模块和三个双重聚焦模块组成；特征提取器的主干网络采用的是Conformer，通过双重网络结构即卷积分支和Transformer分支同时提取局部特征和全局表示，并通过功能耦合单元以交互方式融合局部特征和全局表示；金字塔定位模块使用金字塔自注意力机制，金字塔定位模块的输入为从Conformer的卷积分支和Transformer分支中提取的局部特征C和全局表示T，T中包括NpatchtokenembeddingsTp和1segmentationtokenembeddingsts；首先通过自适应平均池化和重塑操作将输入转换为一致的形状： 其中，[]e表示embedding维度上的串联操作；ψk表示一个k×k的卷积层；表示目标尺寸为n×n的自适应平均池化；表示变形操作；表示正则化层；表示激活函数；然后，使用元素级加法运算将两种特征融合：Ffusion＝Cdown+Tdown,在这之后，将Ffusion反馈至联合依赖感知模块中以检测全局相关性： 其中，表示多头自注意力机制；表示多层感知机；得到的Fjdp由两部分组成，分别为NpatchtokenembeddingsFp和1segmentationtokenembeddingsfs；然后对Fjdp进行两种类型的变换，以生成两种类型的特征，分别用于增强局部特征和全局表示： 其中，是由双线性运算实现的上采样；给定中的目标大小n后，联合依赖感知模块仅在固定尺度上执行全局相关性感知；在特定尺度下，Ffusion中的每个patchtokenembeddings都是具有特定尺寸区域的表示；通过改变联合依赖感知模块中的n以实现多尺度依赖感知： 其中，[]c表示通道维度上的串联操作；和是联合依赖感知模块的输出局部特征和全局表示，其中中的n等于i；最后，通过如下方式生成金字塔定位模块的最终输出： 接下来三个双重聚焦模块将进一步处理Cppm和Tppm；双重聚焦模块旨在帮助网络在解码阶段专注于候选区域，利用局部和全局注意力机制来帮助完成伪装对象边界的描绘，它将前一个模块输出的局部特征Ch、全局表示E以及来自编码器的当前级别局部特征Ccenc作为输入，其中，全局表示E包含NpatchtokenembeddingsEp和1segmentationtokenembeddingses；首先对更高级别的局部特征Ch和全局表示E进行通道聚焦，通过以下方式生成通道聚焦所需的联合向量：Vjoint＝[Vc,Vt]c, 其中，Vc和Vt分别是从Ch和Ep生成的焦点向量；然后分别获得局部特征和全局表示的通道注意力向量，并使用这两个向量来增强这两种类型的特征： Tcf＝[es,E′p]e, 其中，S是激活函数；和是分别用于增强Ccombined和Ep的向量；Ccf和Tcf分别是通道聚焦的局部特征和全局表示；然后进一步对Ccf和Tcf进行空间聚焦，获得空间焦点图： Mc＝ψ7Ch, 其中，是一个token到图的生成器；Mc和Mt分别是从Ch和E生成的焦点图；Γ是一个线性投影，它通过一个全连接层将每个全局表示的维数减少到1；d表示一个全局表示的长度；和表示由三个全连接层实现的三个可学习的线性嵌入函数；然后进一步增强Ccf和Tcf： 其中，和分别是用于增强Ccf和Tcf的图；Csf和Tsf分别是空间聚焦的局部特征和全局表示；最后生成DFM模块的最终输出，即Cdfm和Tdfm： 其中，表示MHSA后跟MLP，具有两个残差连接，用来基于全局表示Tsf进一步探索全局依赖性；“双重”聚焦模块以两种方式构建，即它允许通道和空间聚焦，并且对局部特征和全局表示进行聚焦；因为局部特征具有更详细的信息，因此最后利用最后一个DFM的输出局部特征来预测OPNet的最终输出： 步骤2训练过程在训练时，首先将数据集的训练集数据送入网络的特征提取器，提取的局部特征和全局表示送入金字塔定位模块；金字塔定位模块建立并增强全局依赖性，在局部特征与全局表示中定位伪装目标，随后将生成的局部特征和全局表示送入三个双重聚焦模块；双重聚焦模块利用局部和全局注意力机制来帮助完成伪装对象边界的描绘，最终获得精细的预测结果。

全文数据：

权利要求：

百度查询： 大连理工大学 基于全方位感知的伪装目标图像分割方法