买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：电子科技大学

摘要：本发明公开了一种面向遥感场景的语义分割和高度估计方法，为适应遥感场景的独特性，提出了一种面向遥感场景的通用的知识引导多任务学习感知框架。该框架利用骨干网络生成多尺度、多模态信息，这些信息构成了一个丰富的知识库。在这个知识库的引导下，各个主任务通过多尺度知识引导融合模块，能够有效地学习其他辅助任务所提供的补充知识。这种跨任务的知识共享不仅增强了任务之间的联系，而且使主任务能够从中受益，提高其预测精度。通过整合来自不同辅助任务的辅助信息，旨在实现更全面的特征表示和更准确的预测结果。这种方法不仅拓宽了多任务学习的应用领域，而且为遥感场景中的复杂视觉感知任务提供了新的解决方案。通过大量实验，本发明从可视化效果上以及量化指标上都取得了较好的结果。

主权项：1.一种面向遥感场景的语义分割和高度估计方法，其特征在于，包括以下步骤：1、构建遥感知识引导多任务学习感知网络构建的遥感知识引导多任务学习感知网络包含多尺度编码器、多尺度知识引导融合模块、最终预测模块，其中，多尺度知识引导融合模块又包括知识生成模块和跨知识传播模块，主任务为语义分割和高度估计，辅助任务为语义边缘检测、边缘检测；1.1、将由传感器获取的RGB格式的遥感图像Iv∈R3×H×W输入多尺度编码器中，提取可见光图像特征，得到4个不同尺度、维度为Ni的特征图Fi，其中i为第i个尺度，i＝1,2,3,4，其中，R3×H×W表示通道数为3、高度为H和宽度为W的空间，遥感图像的通道为R、G、B即红绿蓝；1.2、将4个尺度的特征图Fi,i＝1,2,3,4输入到多尺度知识引导融合模块，在多尺度知识引导融合模块中，包括两个主任务、两个辅助任务对应的四个知识生成模块，其中，第1个知识生成模块对应语义分割、第2个知识生成模块对应高度估计、第3个知识生成模块对应边缘检测、第4个知识生成模块对应语义边缘检测，4个知识生成模块都包括4个卷积模块，分别对4个尺度的特征图Fi,i＝1,2,3,4进行卷积，生成四个任务下四个尺度的特征图k为任务序号，1对应语义分割、2对应高度估计、3对应边缘检测、4对应语义边缘检测；对于第k任务，将特征图进行上采样和降维，得到与遥感图像Iv尺寸相同特征图即中间预测在多尺度知识引导融合模块中，包括两个主任务对应的跨知识传播模块，即语义分割跨知识传播模块和高度估计跨知识传播模块；语义分割跨知识传播模块包括四个多头注意力机制，每个尺度下的4个任务的特征图送入一个多头注意力机制进行信息交互，得到每个尺度下的特征图高度估计跨知识传播模块包括四个多头注意力机制，每个尺度下的4个任务的特征图送入一个多头注意力机制进行信息交互，得到每个尺度下的特征图对于第k,k＝1,2个任务，将特征图进行上采样和降维，得到与遥感图像Iv尺寸相同二维特征图，然后将四个特征图相同位置点进行拼接，得到第k任务的最终任务特征图即知识引导语义特征图和知识引导高度特征1.3、最终预测模块包括语义分割预测模块和高度估计预测模块，将知识引导语义特征图送入语义分割预测模块生成语义分割最终预测Ps，将知识引导高度特征送入高度估计预测模块生成高度估计最终预测Ph；2、训练遥感知识引导多任务学习感知网络每次迭代中从数据集中随机选取一可遥感图像Iv送入遥感知识引导多任务学习感知网络，然后：2.1、采样交叉熵计算中间预测的语义分割损失函数 其中，中间预测为中间预测中通道c、坐标位置U,v的分割预测值，C语义类别即通道数，是通道c、坐标位置u,v的真实分割值；2.2、采样L1损失计算中间预测的高度估计损失函数 其中，中间预测为中间预测中坐标位置u,v的高度预测值，是坐标位置u,v的真实高度值；2.3、采用平衡交叉熵损失计算中间预测的边缘检测损失函数其中： 其中，中间预测为中间预测中坐标位置u,v的边缘预测值，是坐标位置u,v的真实边缘值；2.4、采用权重交叉熵和平衡交叉熵的混合函数计算语义边缘检测损失函数 中间预测为中间预测中通道c、坐标位置u,v的语义边缘分割预测值，C语义类别即通道数，是通道c、坐标位置u,v的语义边缘真实分割值，wc为通道c的权重；2.5、采样交叉熵计算语义分割最终预测Ps的语义分割损失函数 其中，语义分割最终预测Ps∈PC×H×W，为义分割最终预测Ps中通道c、坐标位置u,v的分割预测值，C语义类别即通道数，是通道c、坐标位置u,v的真实分割值；2.6、采样L1损失计算高度估计最终预测Ph的高度估计损失函数 其中，高度估计最终预测Ph∈RH×W，为高度估计最终预测Ph中坐标位置u,v的高度预测值，是坐标位置u,v的真实高度值；2.7、计算训练总损失函数 其中，wk是第k任务的权重；2.8、依据总损失函数为训练目标，根据总损失函数对可遥感知识引导多任务学习感知网络中的参数进行更新；重复步骤2.1～步骤2.8直到网络收敛，得到训练好的可遥感知识引导多任务学习感知网络；3、将遥感图像Iv输入到训练好的可遥感知识引导多任务学习感知网络，得到语义分割最终预测Ps以及高度估计最终预测Ph。

全文数据：

权利要求：

百度查询： 电子科技大学 一种面向遥感场景的语义分割和高度估计方法