买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：电子科技大学

摘要：本发明公开了一种基于双域感知和渐进细化的镜面检测方法，引入频率引导并提出了双域感知渐进细化网络DPRNet来挖掘双域信息。具体而言，首先通过拉普拉斯金字塔和视觉Transformer将图像分解为高频和低频分量，并设计频率交互对齐FIA模块将频率特征集成到初始定位镜面区域，然后为了处理尺度变化，提出了多阶特征感知MOFP模块，通过渐进和门控机制自适应地聚合相邻特征，最后提出了基于分离的差异融合SDF模块，建立实体和成像之间的关联，并发现正确的边界来挖掘完整的镜面区域。大量实验证明，本发明双域感知渐进细化网络DPRNet在四个数据集上的性能优于现有方法平均3％，而参数和浮点计算量仅为其五分之一左右。同时，本发明提出的双域感知渐进细化网络DPRNet在遥感和伪装场景中也取得了令人满意的性能，验证了其泛化能力。

主权项：1.一种基于双域感知和渐进细化的镜面检测方法，其特征在于，包括以下步骤：1、提取多尺度特征图Xi使用金字塔视觉转换器PyramidVisionTransformer，简称PVT网络作为骨干网络，对输入图像I∈R3×H×W提取多尺度的长程依赖特征图即生成多尺度特征图其中，Ci、H和W分别表示通道数、高度和宽度；2、获得高频特征图Ff同时，使用拉普拉斯金字塔对输入图像I∈R3×H×W进行分解，获得高频图将高频图进行尺度调整为R3×H×W，然后按通道将高频图Fj进行拼接为高频图F∈R9×H×W，再使用残差通道注意力块对高频图F∈R9×H×W进行自适应特征融合得到特征图Fs，最后使用卷积网络对特征图Fs尺寸进行调整，得到与特征图X1相同尺寸的高频特征图Ff；3、频率交互对齐3.1、交互首先，使用1×1和3×3的卷积层对特征图进行局部特征编码，并通过维度转换和归一化生成查询Qr、键Kr和值Vr：Qr,Kr,Vr＝ΦX11其中，查询Qr、键Kr和值N＝HW16，Φ表示局部特征编码、维度转换和归一化生成查询、键和值的操作；同样地，对高频特征图Ff进行局部特征编码、维度转换和归一化生成查询Qf、键Kf和值Vf；然后，从低频到高频计算得到相关图corrl2h： 其中，τ是一个可学习的缩放因子，softmax表示softmax函数；从高频到低频计算得到相关图corrh2l： 其中，相关图最后，生成交互后的低频特征： 生成交互后的高频特征：FI＝scorrl2hVf+Ff53.2、对齐首先，对低频特征和高频特征FI进行通道压缩，然后融合它们以获得空间图 其中，Avg表示沿着通道维度对像素进行平均，σ表示sigmoid函数，CR表示卷积和ReLU操作，Contac表示按通道进行拼接；然后，生成对齐特征 其中，S1、S2分别为空间图S的第一个和第二个通道图，⊙表示逐元素相乘，RCAB表示残差通道注意力块进行自适应特征融合；4、多阶特征感知首先，对于对齐特征与特征图X2、特征图X2与特征图X3、特征图X3与特征图X4以及对齐特征与特征图分别使用通道注意力计算相邻特征图的权重，进行自适应融合，生成特征图： 其中，为特征图X4的卷积结果，UP表示上采样，使得两个相加的特征具有相同的形状；然后，进行解耦： 其中，AP表示自适应平均池化，Ψ是一个缩放函数，其系数设置为1e-5，δ表示GELU激活函数；然后，将按照1:1:2:4分解为并依次聚合：第一次聚合： 第二次聚合： 第三次聚合： 其中，DWCon5×5表示5×5的深度卷积，Proj表示将特征图的通道映射到其两倍；然后，增强生成 然后，进一步应用门控机制，生成 最终输出为： 5、基于分离的差异融合5.1、对于特征图进一步进行卷积，得到前景掩码图像p5，然后将特征图前景掩码图像p5以及特征图进行差异融合：首先进行卷积和上采样，得到特征图 其中，Conv7×7表示7×7卷积，UP表示上采样；然后计算差异图： 其中，AP表示平均池化，AP表示最大池化，表示L2范数归一化；然后融合特征图、背景掩码和差异图： 最后输出特征图f4以及前景掩码图像p4：f4＝Conv3×3X′o4,p4＝Conv7×7f4195.2、将特征图f4、前景掩码图像p4以及特征图进行差异融合：首先进行卷积和上采样，得到特征图 然后计算差异图： 然后融合特征图、背景掩码和差异图： 最后输出特征图f3以及前景掩码图像p3：f3＝Conv3×3X′o3,p3＝Conv7×7f3235.3、将特征图f3、前景掩码图像p3以及特征图进行差异融合：首先进行卷积和上采样，得到特征图 然后计算差异图： 然后融合特征图、背景掩码和差异图： 最后输出特征图f2以及前景掩码图像p2：f2＝Conv3×3X′o2,p2＝Conv7×7f2275.4、将特征图f2、前景掩码图像p2以及对齐特征进行差异融合：首先进行卷积和上采样，得到特征图 然后计算差异图： 然后融合特征图、背景掩码和差异图： 最后输出前景掩码图像p1：p1＝Conv7×7Conv3×3X′o131前景掩码图像p1即为预测图；6、训练基于步骤1～5进行构建，得到基于频率引导的渐进细化网络，将训练数据集中进行了标记的图像送入基于频率引导的渐进细化网络，按照步骤1～5进行处理，得到预测掩码，然后与标记的真实预测图计算总损失 其中，为加权二元交叉熵损失，为加权IoU损失；根据总损失对基于频率引导的渐进细化网络进行训练，直至收敛；7、镜面检测将待检测的图像送入基于频率引导的渐进细化网络中，按照步骤1到5进行处理，得到前景掩码图像p1即为预测图，完成镜面检测。

全文数据：

权利要求：

百度查询： 电子科技大学 一种基于双域感知和渐进细化的镜面检测方法