买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西安交通大学

摘要：本发明公开了用于立体视觉在线自校正与自监督视差估计的优化方法，在立体校正子网络中，利用权重共享的特征提取器对输入的未校正图像进行特征提取，得到未校正图像对的特征，对未校正图像对的特征进行拼接，接着利用编解码器结构输出四点法参数化后的单应性参数，再利用归一化的直接线性变换算法得到单应性变换矩阵，最终实现图像的自校正。在立体匹配子网络中，以立体校正子网络输出的校正后图像作为输入，用特征提取模块得到若干尺度特征，再用关联的方式构建对应的多尺度代价体，最后用跨尺度聚合模块进行代价聚合，利用视差回归得到最终的视差预测结果。与现有工作相比，本发明可以显著提升立体视觉系统在实际应用中的鲁棒性。

主权项：1.用于立体视觉在线自校正与自监督视差估计的优化方法，其特征在于，包括如下过程：利用权重共享的特征提取方法对未校正的立体图像进行特征提取，得到未校正图像对的特征，对未校正图像对的特征进行拼接，然后再进行编解码处理，得到四点法参数化后的单应性参数，将所述单应性参数用归一化的直接线性变换算法计算得到单应性变换矩阵，得到校正后的图像；将所述校正后的图像进行特征提取，得到不同尺度特征，再用关联的方式构建对应的多尺度代价体，最后进行代价聚合，利用视差回归得到最终的视差预测结果，实现立体视觉在线自校正和自监督视差估计的端到端联合优化；所述四点法参数化的过程包括：在未校正图像上随机找一个矩形区域，设该矩形区域的四个顶点坐标为，校正后图像中对应点的四个顶点坐标为，单应性参数如下： ；利用权重共享的特征提取方法对未校正的立体图像进行特征提取时，用二维卷积将输入图像逐级下采样到第一分辨率和第二分辨率，然后用若干个包含扩张卷积的残差块进一步提取图像特征；将所述校正后的图像进行特征提取时，得到第一分辨率、第二分辨率和第三分辨率下的特征；用关联的方式构建对应的多尺度代价体，最后进行代价聚合时：将第一分辨率、第二分辨率和第三分辨率下校正后图像对特征分别关联起来，并分别在第一分辨率、第二分辨率和第三分辨率尺度上构建三维代价体，随后用跨尺度聚合方法进行代价聚合；进行代价聚合时，在每个尺度上，一个聚合代价体由第一分辨率、第二分辨率和第三分辨率三个尺度的三维代价体加和产生；加和计算多尺度代价体时，通过下采样和上采样操作统一到相同尺寸；利用视差回归得到最终的视差预测结果时，使用softargmin机制对所有尺度的聚合代价进行回归。

全文数据：

权利要求：

百度查询： 西安交通大学 用于立体视觉在线自校正与自监督视差估计的优化方法