买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：神鳍科技(上海)有限公司

摘要：本发明提供一种无监督的单目深度和光流估计方法及装置，解决了现有环境感知模型中存在模型泛化性差、模型训练难度大、模型计算效率低以及模型计算延迟高等问题。本发明采用了无监督、统一框架的方式，能够利用大量无标注数据集进行训练，同时，统一框架能够减少网络参数量，利用几何信息对三个任务进行一致性约束，得到更加准确、低延迟、高效地进行环境几何信息感知。在此基础上，本发明使用自监督和数据增强的方式，针对无监督光流和深度估计中的遮挡和视野边界质量模糊问题，提高了遮挡和边界区域的生成质量。

主权项：1.一种无监督的单目深度和光流估计的方法，其特征在于，具体包括如下步骤：步骤S1、构建DPFNet网络模型；步骤S2、将相邻时刻的两张图片It和It+1输入所述DPFNet网络模型，输出深度、位姿和光流的预测值；步骤S3、根据所述深度、位姿和光流的预测值，计算无监督损失函数值；步骤S4、输入多组相邻时刻的图片，重复步骤S2-步骤S3，对所述DPFNet网络模型进行优化训练，并输出优化训练后的所述DPFNet网络模型；其中，步骤S1中，所述DPFNet网络模型包括：特征编码器、上下文特征编码器、相关性计算模块、相关性模块L和GRU迭代模块；其中，所述相关性模块L和所述GRU迭代模块均为N个；所述N个相关性模块L之间串连；所述N个GRU迭代模块之间串连；一个相关性模块L与一个GRU迭代模块连接；所述相关性计算模块与所述特征编码器连接；GRU迭代模块1与所述上下文特征编码器连接；每个所述GRU迭代模块均包括一个运动信息编码子模块、一个GRU核心block子模块和一个预测头子模块；所述相关性模块L连接所述运动信息编码子模块；其中，每个所述预测头子模块包括三个分支头，分别用于输出深度、位姿和残差流；所述运动信息编码子模块连接所述GRU核心block子模块，所述GRU核心block子模块连接所述预测头子模块；其中，N为正整数；其中，步骤S2具体包括如下步骤：步骤S201、输入相邻时刻的两张图片It和It+1，通过输入相同的特征编码器和上下文特征编码器提取特征，形成维度为[B,C,H8,W8]的特征图；步骤S202、根据提取的所述特征图，通过相关性计算模块计算相关性张量；步骤S203、将所述特征图和所述相关性张量输入N个GRU迭代模块和N个相关性模块L，输出经过N次迭代后深度、位姿和光流的预测值；其中，B表示batchsize，C表示特征图的通道数，H、W分别表示原始图像的高和宽，特征图相比原始图像在高宽维度上进行了18的下采样缩放；其中，步骤S203具体包括：步骤S203a、将n-1次迭代后得到的深度、位姿和n-1次迭代后得到的光流分别输入第n个迭代模块和第n个相关性模块L，通过第n个迭代模块的三个分支头分别输出第n次迭代的深度、位姿和残差流。

全文数据：

权利要求：

百度查询： 神鳍科技(上海)有限公司 一种无监督的单目深度和光流估计方法及装置