买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：泉州装备制造研究所

摘要：本发明涉及图像数据处理领域，具体涉及一种显著性目标检测方法、系统、存储介质和产品，包括如下依次执行的步骤：S1：获取用于训练的RGB图像和深度图像；S2：分别建立用于提取RGB图像和深度图像特征的骨干网络；S3：分别建立用于增强步骤S2处理过后的图像特征的特征细粒度的特征细粒度增强模块；S4：建立用于编码器阶段跨模态特征增强和融合的跨模态双注意力特征融合模块；S5：在解码器阶段构建多尺度特征聚合模块高效融合跨模态特征，利用模态间的相关性增强特征表示，并对多级特征进行解码；设计了跨模态双注意力特征融合模块和多尺度特征聚合模块充分利用模态之间的互补信息，显著提高了在复杂场景下的检测精度。

主权项：1.一种显著性目标检测方法，其特征在于：包括如下依次执行的步骤：S1：获取用于训练和测试的RGB-D数据集，RGB-D数据集包括各张图像的RGB图像、深度图像和GT图像；S2：建立第一骨干网络和第二骨干网络，将RGB-D数据集中的训练样本的RGB图像和深度图像分别一一对应输入到第一骨干网络和第二骨干网络进行多个维度的特征提取，提取到的特征图像分别用和表示，其中表示维度，S3：分别建立用于一一对应增强各个维度的特征图像的特征细粒度的多个第一特征细粒度增强模块，分别建立用于一一对应增强特征图像的特征细粒度的多个第二特征细粒度增强模块；采用表示各特征图像，采用表示各特征图像，各第一特征细粒度增强模块对进行全局平均池化操作，生成一个向量，该向量包含了各通道全局的信息，采用一维卷积对该向量进行卷积操作，以计算每个通道的注意力权重，通过Sigmoid激活函数对注意力权重进行缩放，并将的每个通道与对应的注意力权重相乘，以调整通道的注意力权重，得到增强后的特征，各第一特征细粒度增强模块的操作采用如下公式（1）表示： （1）；其中，为Sigmoid激活函数，为全局平均池化操作，为卷积操作，为第一特征细粒度增强模块的个数；各第二特征细粒度增强模块对做相同操作，得到增强后的特征，各第二特征细粒度增强模块的操作采用如下公式（2）表示： （2）；S4：建立个用于编码器阶段跨模态特征增强和融合的跨模态双注意力特征融合模块CMDAFF，将增强后的特征和增强后的特征分别一一对应输入到各跨模态双注意力特征融合模块进行特征增强和特征融合；跨模态双注意力特征融合模块的具体操作步骤如下：S4-1：将增强后的特征和增强后的特征通过1×1卷积层进行特征缩减，获得初步的特征表示和；S4-2：采用具有Sigmoid激活函数的卷积层对初步的特征表示进行处理，得到归一化的特征映射： ；其中，为Sigmoid激活函数，为卷积层操作；S4-3：通过逐元素相乘操作完成特征融合，将初步的特征表示与归一化的特征映射相乘生成加权的特征，并采用残差连接将加权的特征与初步的特征表示相加，生成融合后的特征和： ；S4-4：对融合后的特征和使用通道注意力机制来确定要获取哪些互补信息，突出关键的互补特征，抑制无关特征，再采用空间注意力机制来确定要关注特征图的哪一部分，减轻特定领域特征中的歧义，获得交叉增强的特征和该步骤的公式表示如下公式（3）所示： （3）；其中，为空间注意力，为通道注意力；S4-5：将交叉增强的特征和输入到连接层和卷积层中，形成共享表示，获得具有更高的鲁棒性和丰富信息的共享特征，该步骤由如下公式（4）所示： （4）；S5：在解码器阶段构建n个多尺度特征聚合模块MSFA高效融合跨模态特征，利用模态间的相关性增强特征表示，并对多级特征分别进行解码；多尺度特征聚合模块的具体操作如下：S5-1：通过特征融合模块将共享特征分别与增强后的特征和增强后的特征进行特征融合： ；S5-2：为了减少通道数，通过1×1的卷积模块分别对融合后的特征和进行卷积操作，获得特征和，将特征和与共享特征和对应的增强后的特征进行逐元素并将相乘结果相加，得到对应的融合特征： ；S5-3：分别对融合特征和进行3×3卷积操作、批量归一化操作和激活函数处理，并将处理后的特征与共享特征相加，通过卷积得到输出特征，该步骤的公式表示如下： ；S5-4：将输出特征和在通道维度上进行连接，并通过卷积和批量归一化处理，得到融合后的特征表示： ；S5-5：将融合后的特征与共享特征通过残差连接相加，并通过激活得到最终输出特征： 。

全文数据：

权利要求：

百度查询： 泉州装备制造研究所 一种显著性目标检测方法、系统、存储介质和产品