买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国矿业大学

摘要：本发明公开了煤矿单轨吊无人驾驶中自监督单目深度估计方法及系统，涉及图像深度估计领域。首先提出了自适应特征聚合算法，用于在深度估计网络中聚合高低尺度特征的同时自适应地保持其上下文一致性；然后提出一个旋转量优化算法，用于在位姿网络中加权融合原始主路径与其他路径的前3维向量来细化旋转分量；最后提出图像边缘相似性损失函数，为深度估计提供形状先验，作为额外的自监督信号来约束网络。本发明能够有效提高预测深度的精度，使得煤矿单轨吊对作业人员和障碍物的位置距离远近能够更准确地估计，增强去精准判断与预防碰撞障碍物与作业人员的能力，提高煤矿单轨吊无人驾驶安全通过性，并具有良好的泛化性能。

主权项：1.一种煤矿单轨吊无人驾驶中自监督单目深度估计方法，其特征在于：包括以下步骤：S1、构建基于自适应特征聚合算法的深度估计网络，利用所述深度估计网络估计出输入RGB图像的深度图像；S2、构建基于旋转量优化算法的位姿估计网络，利用所述位姿估计网络预测出相机的相对位姿关系，与S1得到的深度图像进行重建图像；S3、构建含有图像边缘相似性损失函数的损失优化模块，利用所述损失优化模块计算重建图像与输入图像的损失误差，前向传播计算损失误差值，然后反向传播更新网络中所有权重参数，直到计算的损失获得最小值且收敛；所述S1中以ResNet50网络作为深度估计网络编码器，将目标图像作为输入，利用ResNet50的Bottleneck卷积模块对输入图像进行5层卷积以及下采样操作，缩小特征分辨率，提取不同尺度特征即各层级特征图像，最终得到提取输出特征图像；所述下采样过程中，各层级特征图像通道数由低到高变化分别为64、256、512、1024和2056；所述S1中嵌入自适应特征聚合算法的解码器网络，将解码器层级通过标准双线性插值上采样以及反卷积操作得到的特征图像与通过跳跃连接得到的上一层级编码器输出按照通道拼接，然后通过两个学习特征偏移映射分支来预测偏移量图ΔCi和ΔF′i+1，细化函数R通过双线性插值进行细化，即通过偏移量图Δp在中的p＝[x,y]T位置处生成细化特征计算公式为： 其中，p表示特征图中像素点，·表示双线性插值操作；两个细化特征的公式为： 其中，R为细化函数，Fi+1为编码器各层输出特征图像；Ci为通过跳跃连接方式得到的编码器各层输出特征图像；ΔCi和ΔF′i+1为偏移量图；最后两个细化特征进行聚合得到F″i+1，公式为： 其中，表示直接像素叠加，将得到聚合特征F″i+1作为解码器上一层级的输入，依次重复以上4次聚合处理，最后将解码器第一层级输出特征图像用Sigmoid函数映射处理得到预测深度图像Dt；所述S2中位姿估计网络编码器使用ResNet18结构，并在位姿编码器中使用预训练权重模型；将预训练模型中第一个卷积核的维度进行扩展，使网络接收6通道作为输入，将扩展后的卷积核中的权重除以2，编码器网络中最终输出图像特征，其通道维数为512；在位姿解码器第四层为多层卷积层，将所有的前3维向量进行加权融合细化得到输出，计算公式为：r＝λ3R3+λ4R4+λ5R5+λ6R6+λ7R7+λ8R8..其中，超参数λn表示权重系数，且所述超参数λn为0.4，Rn表示预测多维向量的前3维向量，下方数字表示当前路径输出的向量维度；所述S3中图像边缘相似性损失计算步骤包括：S31、利用Canny算子分别检测出目标图像与预测深度图像的边缘特征信息图像Fedge、Dedge；S32、将二维的边缘信息图像转换拉伸成一维的特征向量块fFedge、fDedge；S33、计算这两个特征向量块的余弦相似度；图像边缘相似性损失函数计算公式为：Ledge＝1-cosfFedge,fDedge其中f为将多维特征向量转为一维特征向量操作，cos为计算余弦相似度操作；总的损失函数为：Lall＝Lpe+λ1Lsmooth+λ2Lnrom+λ3Lplane+λ4LedgeLpe为光度重投影损失，Lsmooth为逐像素平滑损失函数，Lnrom为法向量损失函数，Lplane为共平面损失约束，Ledge为图像边缘相似性损失函数，且权重参数λ1，λ2，λ3和λ4分别设置为0.001，0.05，0.1和0.04。

全文数据：

权利要求：

百度查询： 中国矿业大学 煤矿单轨吊无人驾驶中自监督单目深度估计方法及系统