买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：天津理工大学

摘要：本发明涉及一种基于跨视图关联与视差估计的光场图像轻量化语义分割方法，该方法首先处理光场全部图像获取到深度估计文件，使其便于指导将其他参考视图的特征传播到中心视图，然后将随机从中心视图的水平，垂直和对角方向获取到的参考视图连同中心图像一起送入相同的Backbone进行初步的特征提取，随后中心视图进行自注意力机制处理，而其他的参考视图特征分别与中心视图做交叉注意力，与获取的中心视图的视差估计特征进行空间关联的计算，最后将得到的特征依次进行聚合，送入分割模块进行处理得到最终的分割结果图。本发明提出的方法成功地减少了模型的参数数量和计算负载，且没有降低较多的准确率，在优化模型性能的同时，使其更适合在资源受限的设备上进行部署。

主权项：1.本发明主要涉及一种基于跨视图关联与视差估计的光场图像轻量化语义分割方法，所述方法包括下列步骤：1获得光场图像语义分割中的公开数据集：城市场景光场数据集UrbanLF，使用角度分辨率9×9进行拍摄，共824组，66744张，其中训练集580组、测试集164组和验证集80组；2数据预处理，使用OAVCOcclusion-awareVoteCost光场深度估计方法将每组图像均转换成numpy格式图像，并获取到生成的中心视图的视差估计结果，将N张分别在水平、垂直、左和右对角线方向八个图像堆栈中随机采样的图像作为参考视图图像；3使用预训练的ResNet50分别对中心视图图像及N张参考视图图像进行初步特征提取；4将获取的参考视图特征与获取的中心视图的视差估计特征进行空间关联的计算，考虑到不同视角对于最终特征图的贡献不同，因此，采用通道注意力计算以及卷积操作获取最终的空间关联特征；5为了减少计算负担，在Encoding阶段使用深度可分离卷积替代传统卷积，对完成Encoding的中心视图特征进行自注意力计算，同时，借助交叉注意力机制的设计，将中心视图特征与参考视图特征分别进行交叉注意力机制的计算，实现中心视角特征与参考视角特征的交互，获取高质量的特征，以在资源有限的情况下有针对性的设计实现更高效的神经网络模型；6使用DAFM首先将获取的中心视图特征与参考视图特征进行融合处理获得跨视图特征图，随后将空间关联特征图与跨视图特征图进行融合处理获取最终的预测特征，随后传入UperNet分割结构，得到最后的分割结果；7进行多次实验，探究最佳的网络参数，并进行五次交叉验证求平均值，用多种评价指标来评估模型，包括参数量NumberofParametersParameters、像素精度PixelAccuracyAcc、平均像素精度MeanPixelAccuracymAcc、平均交并比Meanintersection-over-inionmIou。

全文数据：

权利要求：

百度查询： 天津理工大学 一种基于跨视图关联与视差估计的光场图像轻量化语义分割方法