买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山西省财政税务专科学校

摘要：本发明提供了一种基于相邻目标之间空间关系的单目三维检测方法及装置，属于目标检测技术领域；解决了现有单目三维目标检测网络对被遮挡目标检测精度差的问题；包括以下步骤：将图片输入Smoke主干网络中得到特征图；基于特征图分别进行2D检测，3D检测和相邻目标的空间约束检测，得到目标2D预测框，包含目标三维中心，偏航角，三维长宽高，目标视觉深度和目标属性深度的3D预测框；相邻目标的空间约束检测通过预测目标三维中心与相邻目标三维中心之间的三维距离得到相邻目标的空间约束；结合相邻目标的空间约束和目标3D预测框进行目标三维空间优化，得到结果更加精确的最终3D预测框；本发明应用于三维目标检测。

主权项：1.一种基于相邻目标之间空间关系的单目三维检测方法，其特征在于：包括以下步骤：S1：将图片输入Smoke主干网络中得到特征图；步骤S1中的Smoke主干网络采用改进的DLA-34网络，改进部分为将传统DLA-34网络中所有的层级聚合连接都替换成了可变形卷积连接，输出的特征图相对于原始图进行了4倍的下采样，所有的批归一化操作替换为分组归一化操作；S2：基于特征图分别进行2D检测，3D检测和相邻目标的空间约束检测；其中2D检测通过2D检测模块预测目标二维中心和二维边界框的长宽，然后得到目标2D预测框；3D检测通过3D检测头预测目标三维中心，偏航角，三维长宽高，目标视觉深度和目标属性深度，然后得到目标3D预测框；相邻目标的空间约束检测通过预测目标三维中心与相邻目标三维中心之间的三维距离得到相邻目标的空间约束；相邻目标的空间约束是通过设置其二维边界框中心的距离作为直径来定义范围圆，如果范围圆内包含其他目标中心，则忽略其他目标中心；给定选定的一对目标，它们在世界空间中的三维中心分别为=xi，yi，zi和=xj，yj，zj，它们在特征图上的二维边界框中心分别为和，其中、为目标i在特征图上二维边界框的横坐标和纵坐标，、为目标j在特征图上二维边界框的横坐标和纵坐标，相邻目标的空间约束的回归目标是上述两个目标的三维距离；相邻目标的空间约束的回归目标的实现步骤如下：首先在三维空间中定位中点；然后，取视点方向即相机的拍摄方向为Z轴，为原点，用左手系建立局部坐标系，相邻目标和的三维绝对距离为，其中为相邻目标的横坐标差的绝对值，为相邻目标的纵坐标差的绝对值，为相邻目标的Z坐标差的绝对值，且选取局部坐标系下的相邻目标间三维距离作为预测的相邻目标三维的空间约束，其中局部坐标系指以相机位置到相邻目标连线的中点为z轴，其垂线为x轴；S3：结合相邻目标的空间约束和目标3D预测框进行目标三维空间优化，得到结果更加精确的最终3D预测框；步骤S3中采用非线性最小二乘法进行3D预测框空间优化，具体步骤如下：假设在一张图中，网络输出有N个目标，其中有M对相邻目标之间的空间约束，将其视为一个顶点数为N，边数为M的图，每个顶点可以连接多个相邻顶点，未被其他顶点连接的目标不需要优化；对于连接顶点Ci和顶点Cj的相邻目标之间的空间约束，存在三个误差项来衡量网络估计的三维距离和两个连接顶点Ci和Cj的三维位置和之间的距离的不一致性，其中误差项是和沿着三个轴的绝对差，其表达式如下： =； =；对于每个目标，计算其所有的相邻目标的空间约束对于预测的三维中心的误差项，并求平均值，得到优化之后的3D预测框中心。

全文数据：

权利要求：

百度查询： 山西省财政税务专科学校 一种基于相邻目标之间空间关系的单目三维检测方法及装置