买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江苏大学

摘要：本发明公开一种基于对抗生成网络的轻量级全天时自监督单目深度估计方法，将对抗生成网络与自监督单目深度估计进行结合，利用自监督MonoViT网络作为教师模型构建知识蒸馏损失优化学生模型；利用低尺度一致性损失，在低分辨率阶段进一步学习高分辨率的特征，以提升学生网络最终输出深度图的清晰度；把黑夜噪声融入到深度估计网络中，在不改变数据集的情况下进行扩充，将白天数据集经过CoMoGAN对抗生成网络转化为黑夜风格的图像；联合原始白天场景图像和黑夜场景图像共同进行模型训练。本发明在不使用额外其他数据集的情况下，降低了数据准备和模型训练的成本，提升了模型在各种复杂环境下的实用性。

主权项：1.一种基于对抗生成网络的轻量级全天时自监督单目深度估计方法，其特征在于，包括以下步骤：步骤1、通过对抗生成网络对数据集中的白天场景图像进行扩容，转化为对应的黑夜场景图像；所述对抗生成网络采用训练好的CoMoGAN对抗生成网络，在转化过程中将太阳光的照射角度设置为π，即得到黑夜场景图像；步骤2、将步骤1中生成的黑夜场景图像与原始的白天场景图像一同输入学生网络中进行联合训练，从而得到黑夜场景的逆深度图Dnight和白天场景的逆深度图Dday；所述学生网络基于轻量级的MobileViT骨干网络，结合卷积和自注意力机制的优点；同时，将白天场景图像输入到教师网络中进行训练，以生成相应的逆深度图Dteach；利用自监督MonoViT骨干网络作为教师模型构建知识蒸馏损失来优化学生模型；步骤3、给定连续的相邻RGB帧，即目标帧It和源帧Is，通过拼接It和Is并输入到位姿网络中获取到目标帧It和源帧Is之间的相对位姿Tt→s；此处目标帧It是指步骤2中的白天场景图像，s∈{t+1,t-1}；s表示相邻帧上一时间点或者下一时间点；t指目标帧的时间点，t+1表示目标帧的下一个时间点，t-1表示目标帧的前一个时间点；步骤4、结合步骤2所得白天场景的逆深度图Dday以及步骤3所得相对位姿Tt→s，将当前帧It中的像素坐标位置投影到相邻帧Is视角下的对应像素坐标位置，最终生成扭曲后图像Is→t；步骤5、将步骤2学生网络所得黑夜场景的逆深度图Dnight和白天场景的逆深度图Dday，分别与教师网络输出的逆深度图Dteac计算黑夜抗噪损失Lan和低尺度一致性损失Llow；同时计算扭曲后图像Is→t与当前帧It两者之间的图像重投影损失Lph；最终得到总的损失Ltotal。

全文数据：

权利要求：

百度查询： 江苏大学 基于对抗生成网络的轻量级全天时自监督单目深度估计方法