买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:纵目科技(上海)股份有限公司
摘要:本发明提供一种基于目标检测的下边缘检测模型的训练方法、模型和存储介质,获取样本图像,将所述样本图像输入预先建立的初始神经网络模型;利用所述样本图像训练所述初始神经网络模型,先将样本图像输入基础神经网络模型得到目标检测的实例分割结果,再将目标检测的实例分割结果输入高度图神经网络模型,再由高度图转换得到目标下边缘检测结果;将执行过程中目标下边缘检测模型输出的结果与各个所述目标下边缘检测标注线比较;获得比较结果;根据所述比较结果调整所述目标下边缘检测模型中的损失函数,使得所述目标下边缘检测模型的损失函数最小。
主权项:1.一种目标检测的下边缘检测模型的训练方法,其特征在于,包括以下步骤:获取样本图像,所述样本图像标注有实例分割结果,所述实例分割结果中包括目标检测框;将所述样本图像输入预先建立的初始神经网络模型;利用所述样本图像训练所述初始神经网络模型,所述初始神经网络模型中包括基础神经网络模型、高度图神经网络模型和下边缘检测模型,先将样本图像输入基础神经网络模型得到目标检测的实例分割结果,将目标检测的实例分割结果输入高度图神经网络模型后,输入下边缘检测模型,由高度图转换得到目标下边缘检测结果;将执行过程中下边缘检测模型输出的结果与对应下边缘检测标注线比较;获得比较结果;根据所述比较结果调整所述下边缘检测模型中的损失函数,使得所述下边缘检测模型的损失函数最小;其中,所述基础神经网络模型能够提取实例分割结果的深度神经网络;所述高度图神经网络是能够实现特征维度转换的深度神经网络;所述下边缘检测模型能够实现下边缘轮廓提取的深度神经网络;所述高度图转换得到目标下边缘检测结果包括以下步骤:通过所述高度图神经网络反复地在原特征图上以多条分支进行卷积操作,再将多分支卷积操作结果合并,获取特征图对应的高度维度上为1的底边高度图;下边缘检测模型基于所述底边高度图中各个像素点的特征信息与原特征图中的像素点特征信息进行比对,获取所述底边高度图各个像素点与特征图像素点的对应关系,以该对应关系获得目标检测框中实例的下边缘轮廓;所述损失函数使用基于距离度量的回归问题损失函数,包括;均方误差损失函数、平均绝对值误差损失函数、平滑的平均绝对误差损失函数、Log-Cosh损失函数、分位数损失函数中的一种或几种。
全文数据:一种基于目标检测的下边缘检测模型的训练方法、模型和存储介质技术领域本发明涉及汽车电子技术领域,特别是涉及一种基于目标检测的下边缘检测模型的训练方法、模型和存储介质。背景技术图像是人们从客观世界获取信息的重要来源,图像信息最主要来自其边缘和轮廓。所谓边缘是指其周围像素灰度急剧变化的那些象素的集合,它存在于目标、背景和区域之间。图像边缘检测是图像处理中的一个重要内容和步骤。近年来,随着人们对自动驾驶的需求增加,自主泊车系统已成为一个深入研究的课题,但在泊车过程中,获取到当前行驶区域内的车辆、行人、障碍物等目标的下底边,然后计算无人驾驶车辆与其他目标的下底边距离,对于车辆的行驶轨迹预测与车身控制起到重要的作用。传统的边缘检测算法如微分算子法、最优算子法等算法是利用梯度最大值或二阶导数过零点值来获取图像边缘的。这些算法尽管实时性较好,但抗干扰性差,不能有效克服噪声影响导致图像降噪后边缘变得模糊,无法在多尺度下对图像边缘进行提取导致定位方面欠佳。发明内容为了解决上述的以及其他潜在的技术问题,本发明提供了一种种基于目标检测的下边缘检测模型的训练方法、模型和存储介质,通过基础神经网络、高度图神经网络和下边缘神经网络分别对每一部分进行同步分段训练,节省计算耗时,提高了神经网络的训练速度,不同神经网络使用适合该分段训练的损失函数,提高了每一段神经网络的精度,高度图神经网络部分以均方误差损失函数为损失函数的修正。一种目标检测的下边缘检测模型的训练方法,包括以下步骤:获取样本图像,所述样本图像标注有实例分割结果,所述实例分割结果中包括目标检测框;将所述样本图像输入预先建立的初始神经网络模型;利用所述样本图像训练所述初始神经网络模型,所述初始神经网络模型中包括基础神经网络模型、高度图神经网络模型和下边缘网络模型,先将样本图像输入基础神经网络模型得到目标检测的实例分割结果,再将目标检测的实例分割结果输入高度图神经网络模型,再由高度图转换得到目标下边缘检测结果;将执行过程中目标下边缘检测模型输出的结果与各个所述目标下边缘检测标注线比较;获得比较结果;根据所述比较结果调整所述目标下边缘检测模型中的损失函数,使得所述目标下边缘检测模型的损失函数最小。进一步地,所述损失函数使用基于距离度量的回归问题损失函数。进一步地,所述基于距离度量的回归问题损失函数使用均方误差损失函数、平均绝对值误差损失函数、平滑的平均绝对误差损失函数、Log-Cosh损失函数、分位数损失函数中的一种或几种。进一步地,所述基于距离度量的回归问题损失函数使用均方误差损失函数:其中为目标物体下边缘的预测值,其中yi为目标物体下边缘的标定值。进一步地,所述目标物体下边缘的预测值形状为1*W,所述目标物体下边缘的标定值1*W。进一步地,所述目标下边缘检测框包含以下要素:1分割捕获图像中不同语义的部分,获得目标检测框中所属语义分割的类别要素;2语义分割后特定类别的实例分割结果;3各个实例分割结果中目标下边缘轮廓线;4各个实例分割结果下边缘轮廓线中与地面接触的接触点。一种目标检测的下边缘检测模型,包括以下部分:目标检测模块,所述目标检测模块由初始神经网络模型分割捕获图像中不同语义的部分,形成实例分割结果,再将分割结果进行实例分割获得不同语义中的各个实例,所述目标检测模块中还包括特征提取模块,所述特征提取模块用于提取各个实例目标检测框中目标图像的特征,以形成特征图;高度图提取模块,所述底边高度图提取模块通过高度图神经网络反复地在特征图上以多条分支进行卷积操作,再将多分支卷积操作结果合并,得到特征图对应的高度维度上为1的底边高度图;下边缘提取模块,所述下边缘提取模块用于以底边高度图中各个像素点的特征信息与原特征图中该列像素点特征信息比对,获得底边高度图单列像素点与原特征图该列像素点的对应关系,获得底边高度图中各个像素点在原特征图中的对应位置关系,以该对应位置关系获得目标检测框中实例的下边缘轮廓。进一步地,所述特征提取模块包括但不限于提取目标检测框中特定卷积层的特征。进一步地,所述特征提取模块包括分别提取目标检测框中多个卷积层的特征,还包括特征融合模块,所述特征融合模块用于将分别提取的多个卷积层特征进行特征融合,并获得融合特征的特征图,使用融合特征的特征图以代替原特征图。进一步地,所述底边高度图提取模块反复地在特征图上以多条分支进行卷积操作时,每条卷积操作卷积核的维度数为的通道数不特定,但该卷积核尺寸hk,wk特定为hk等于1,wk等于1。进一步地,所述目标下边缘检测框的目标包括可移动物体和静止物体,所述可移动物体包括行人、行人手持的接触地面的设备、包括但不限于轮椅、平衡车、自行车、手推车、摩托车、机动车辆在内的移动设备;所述静止物体包括指示牌、路障、树、栅栏、立柱在内的各类地面障碍物。进一步地,所述目标下边缘检测框包含以下要素:A分割捕获图像中不同语义的部分,获得目标检测框中所属语义分割的类别要素;B语义分割后特定类别的实例分割结果;C各个实例分割结果中目标下边缘轮廓线;D各个实例分割结果下边缘轮廓线中与地面接触的接触点。进一步地,所述特征提取模块包括初步特征提取部分和复杂特征提取部分,所述初步特征提取部分和复杂特征提取部分作为两个分支,可以同时工作;利用两个分支进行特征提取,即先通过基础网络进行初步特征提取,再通过特殊网络进行复杂特征提取,对于初步特征提取、复杂特征提取中不同阶段的图像特征均会被临时保存。进一步地,所述特征提取模块中初步特征提取部分分支内容可以调用目标检测模块中特征提取部分的初步特征提取结果。进一步地,所述特征提取模块利用Resnet网对捕获图像进行初步的特征提取,RRC网络接着进行更复杂的特征提取,在Resnet网络和RRC网络处理过程中不同阶段的图像特征图会被临时保存,最后输出带有目标检测框的结果。进一步地,所述目标检测模块中也包括特征提取部分,目标检测模块的特征提取部分同样可以利用两个分支进行特征提取,即先通过基础网络进行初步特征提取,再通过特殊网络进行复杂特征提取,对于初步特征提取、复杂特征提取中不同阶段的图像特征均会被临时保存。一种基于目标高度图提取的相对位置转换方法,包括以下步骤:S01:由目标检测模块通过基础神经网络分割捕获图像中不同语义的部分,形成分割结果,再将分割结果进行实例分割获得不同语义中的各个实例,将各个实例以目标检测框的形式标注标注出来,提取各个实例目标检测框中目标图像的特征,以形成特征图;通过高度图神经网络反复地在特征图上以多条分支进行卷积操作,再将多分支卷积操作结果合并,最终进行全连接展开目标的底边高度图;下边缘提取模块以底边高度图为输入,将底边高度图输入下边缘神经网络中,使各个像素点的特征信息与原特征图中该列像素点特征信息比对,获得底边高度图单列像素点与原特征图该列像素点的对应关系,获得底边高度图中各个像素点在原特征图中的对应位置关系,以该对应位置关系获得目标检测框中实例的下边缘轮廓;S02:提取目标检测框中实例的下边缘轮廓中相对地面最低位置的像素点,判断该像素点为目标检测框中所示物体与地面接触点,利用本体摄像头标定参数获得本体摄像头在地面的投影,通过坐标系换算取得本体与目标检测框之间的相对位置关系。如上所述,本发明的具有以下有益效果:1目标检测模块使用RRC网络加强对目标物体全局上下文信息的捕捉,对不同尺寸的物体都能实现良好地检测。2特征融合模块将每个检测到的物体的检测框和其对应的多个不同阶段的特征图进行多尺度特征融合,使得融合特征对检测到的物体更加具有代表性。3底边检测模块大量使用双分支的1x1卷积操作,在不影响耗时的情况下,提高图像精度。4前鱼眼转俯视图模块输出的俯视图下的物体底边检测图能够实现对检测到的目标的精确距离度量。附图说明为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1显示为本发明的获取的样本图像。图2显示为本发明通过基础神经网络后得到的目标语义分割结果的示意图。图3显示为本发明通过基础神经网络后得到的目标实例分割结果的示意图。图4显示为本发明下边缘神经网络输出结果的示意图。图5显示为本发明单一目标下边缘神经网络输出结果的示意图。图6显示为本发明一实施例中高度图神经网络将特征图转换为底边高度图前特征图中每个像素点的特征值。图7显示为图6中高度图神经网络输出的底边高度图示意图。图8显示为本发明摄像头标定原点与目标检测框通过矩阵转换后俯视图中相对坐标位置关系的示意图。具体实施方式以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。须知,本说明书所附图式所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时,本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语,亦仅为便于叙述的明了,而非用以限定本发明可实施的范围,其相对关系的改变或调整,在无实质变更技术内容下,当亦视为本发明可实施的范畴。参见图1~图8,一种目标检测的下边缘检测模型的训练方法,包括以下步骤:获取样本图像,所述样本图像标注有实例分割结果,所述实例分割结果中包括目标检测框;将所述样本图像输入预先建立的初始神经网络模型;利用所述样本图像训练所述初始神经网络模型,所述初始神经网络模型中包括基础神经网络模型、高度图神经网络模型和下边缘网络模型,先将样本图像输入基础神经网络模型得到目标检测的实例分割结果,再将目标检测的实例分割结果输入高度图神经网络模型,再由高度图转换得到目标下边缘检测结果;将执行过程中目标下边缘检测模型输出的结果与各个所述目标下边缘检测标注线比较;获得比较结果;根据所述比较结果调整所述目标下边缘检测模型中的损失函数,使得所述目标下边缘检测模型的损失函数最小。进一步地,所述损失函数使用基于距离度量的回归问题损失函数。进一步地,所述基于距离度量的回归问题损失函数使用均方误差损失函数、平均绝对值误差损失函数、平滑的平均绝对误差损失函数、Log-Cosh损失函数、分位数损失函数中的一种或几种。进一步地,所述基于距离度量的回归问题损失函数使用均方误差损失函数:其中为目标物体下边缘的预测值,其中yi为目标物体下边缘的标定值。进一步地,所述目标物体下边缘的预测值形状为1*W,所述目标物体下边缘的标定值1*W。进一步地,所述目标下边缘检测框包含以下要素:1分割捕获图像中不同语义的部分,获得目标检测框中所属语义分割的类别要素;2语义分割后特定类别的实例分割结果;3各个实例分割结果中目标下边缘轮廓线;4各个实例分割结果下边缘轮廓线中与地面接触的接触点。一种目标检测的下边缘检测模型,包括以下部分:目标检测模块,所述目标检测模块由初始神经网络模型分割捕获图像中不同语义的部分,形成实例分割结果,再将分割结果进行实例分割获得不同语义中的各个实例,所述目标检测模块中还包括特征提取模块,所述特征提取模块用于提取各个实例目标检测框中目标图像的特征,以形成特征图;高度图提取模块,所述底边高度图提取模块通过高度图神经网络反复地在特征图上以多条分支进行卷积操作,再将多分支卷积操作结果合并,得到特征图对应的高度维度上为1的底边高度图;下边缘提取模块,所述下边缘提取模块用于以底边高度图中各个像素点的特征信息与原特征图中该列像素点特征信息比对,获得底边高度图单列像素点与原特征图该列像素点的对应关系,获得底边高度图中各个像素点在原特征图中的对应位置关系,以该对应位置关系获得目标检测框中实例的下边缘轮廓。进一步地,所述特征提取模块包括但不限于提取目标检测框中特定卷积层的特征。进一步地,所述特征提取模块包括分别提取目标检测框中多个卷积层的特征,还包括特征融合模块,所述特征融合模块用于将分别提取的多个卷积层特征进行特征融合,并获得融合特征的特征图,使用融合特征的特征图以代替原特征图。进一步地,所述底边高度图提取模块反复地在特征图上以多条分支进行卷积操作时,每条卷积操作卷积核的维度数为的通道数不特定,但该卷积核尺寸hk,wk特定为hk等于1,wk等于1。参见图6-图7,图6中8*10表示基础神经网络输出的特征图的尺寸,该特征图的尺寸为8*10,每一个方格中的数值代表该像素点中亮度对比度值。当该特征图输入到高度神经网络后,高度神经网络模型先逐一识别出特征图中目标物体与地面接触的像素点,标记该像素点,然后统计得到特征图中目标物体与地面接触的点,逐一连接这些像素点形成下边缘线。将标记了下边缘线的特征图再高度上降低维度成为一维的特征图,即图7所示,即高度图神经网络的输出。所述高度图神经网络输出的结果,该行中每一个像素点的数值表示的是其所对应的特征图中目标物体与地面接触点在该特征图对应列中的位置信息。进一步地,所述目标下边缘检测框的目标包括可移动物体和静止物体,所述可移动物体包括行人、行人手持的接触地面的设备、包括但不限于轮椅、平衡车、自行车、手推车、摩托车、机动车辆在内的移动设备;所述静止物体包括指示牌、路障、树、栅栏、立柱在内的各类地面障碍物。进一步地,所述目标下边缘检测框包含以下要素:A分割捕获图像中不同语义的部分,获得目标检测框中所属语义分割的类别要素;B语义分割后特定类别的实例分割结果;C各个实例分割结果中目标下边缘轮廓线;D各个实例分割结果下边缘轮廓线中与地面接触的接触点。进一步地,所述特征提取模块包括初步特征提取部分和复杂特征提取部分,所述初步特征提取部分和复杂特征提取部分作为两个分支,可以同时工作;利用两个分支进行特征提取,即先通过基础网络进行初步特征提取,再通过特殊网络进行复杂特征提取,对于初步特征提取、复杂特征提取中不同阶段的图像特征均会被临时保存。进一步地,所述特征提取模块中初步特征提取部分分支内容可以调用目标检测模块中特征提取部分的初步特征提取结果。进一步地,所述特征提取模块利用Resnet网对捕获图像进行初步的特征提取,RRC网络接着进行更复杂的特征提取,在Resnet网络和RRC网络处理过程中不同阶段的图像特征图会被临时保存,最后输出带有目标检测框的结果。进一步地,所述目标检测模块中也包括特征提取部分,目标检测模块的特征提取部分同样可以利用两个分支进行特征提取,即先通过基础网络进行初步特征提取,再通过特殊网络进行复杂特征提取,对于初步特征提取、复杂特征提取中不同阶段的图像特征均会被临时保存。一种基于目标高度图提取的相对位置转换方法,包括以下步骤:S01:由目标检测模块通过基础神经网络分割捕获图像中不同语义的部分,形成分割结果,再将分割结果进行实例分割获得不同语义中的各个实例,将各个实例以目标检测框的形式标注标注出来,提取各个实例目标检测框中目标图像的特征,以形成特征图;通过高度图神经网络反复地在特征图上以多条分支进行卷积操作,再将多分支卷积操作结果合并,最终进行全连接展开目标的底边高度图;下边缘提取模块以底边高度图为输入,将底边高度图输入下边缘神经网络中,使各个像素点的特征信息与原特征图中该列像素点特征信息比对,获得底边高度图单列像素点与原特征图该列像素点的对应关系,获得底边高度图中各个像素点在原特征图中的对应位置关系,以该对应位置关系获得目标检测框中实例的下边缘轮廓;S02:提取目标检测框中实例的下边缘轮廓中相对地面最低位置的像素点,判断该像素点为目标检测框中所示物体与地面接触点,利用本体摄像头标定参数获得本体摄像头在地面的投影,通过坐标系换算取得本体与目标检测框之间的相对位置关系。作为优选实施例,本实施例还提供一种终端设备,如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器包括独立的服务器,或者多个服务器所组成的服务器集群等。本实施例的终端设备至少包括但不限于:可通过系统总线相互通信连接的存储器、处理器。需要指出的是,具有组件存储器、处理器的终端设备,但是应理解的是,并不要求实施所有示出的组件,可以替代的目标检测的下边缘检测方法实施更多或者更少的组件。作为优选实施例,存储器即可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器例如,SD或DX存储器等、随机访问存储器RAM、静态随机访问存储器SRAM、只读存储器ROM、电可擦除可编程只读存储器EEPROM、可编程只读存储器PROM、磁性存储器、磁盘、光盘等。在一些实施例中,存储器可以是计算机设备的内部存储单元,例如该计算机设备20的硬盘或内存。在另一些实施例中,存储器也可以是计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡SmartMediaCard,SMC,安全数字SecureDigital,SD卡,闪存卡FlashCard等。当然,存储器还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中,存储器通常用于存储安装于计算机设备的操作系统和各类应用软件,例如实施例中的目标检测的下边缘检测程序代码等。此外,存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。处理器在一些实施例中可以是中央处理器CentralProcessingUnit,CPU、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制计算机设备的总体操作。本实施例中,处理器用于运行存储器中存储的程序代码或者处理数据,例如运行的检测程序,以实现实施例中目标检测的下边缘检测模型的功能。一种计算机可读存储介质,其上存储有计算机程序,其特征在于:该程序被处理器执行时实现上述的方法中的步骤。本实施例还提供一种计算机可读存储介质,如闪存、硬盘、多媒体卡、卡型存储器例如,SD或DX存储器等、随机访问存储器RAM、静态随机访问存储器SRAM、只读存储器ROM、电可擦除可编程只读存储器EEPROM、可编程只读存储器PROM、磁性存储器、磁盘、光盘、服务器、App应用商城等等,其上存储有计算机程序,程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储目标检测的下边缘检测程序,被处理器执行时实现实施例中的目标检测的下边缘检测方法。上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中包括通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
权利要求:1.一种目标检测的下边缘检测模型的训练方法,其特征在于,包括以下步骤:获取样本图像,所述样本图像标注有实例分割结果,所述实例分割结果中包括目标检测框;将所述样本图像输入预先建立的初始神经网络模型;利用所述样本图像训练所述初始神经网络模型,所述初始神经网络模型中包括基础神经网络模型、高度图神经网络模型和下边缘网络模型,先将样本图像输入基础神经网络模型得到目标检测的实例分割结果,再将目标检测的实例分割结果输入高度图神经网络模型,再由高度图转换得到目标下边缘检测结果;将执行过程中目标下边缘检测模型输出的结果与各个所述目标下边缘检测标注线比较;获得比较结果;根据所述比较结果调整所述目标下边缘检测模型中的损失函数,使得所述目标下边缘检测模型的损失函数最小。2.根据权利要求1所述的目标检测的下边缘检测模型的训练方法,其特征在于,所述损失函数使用基于距离度量的回归问题损失函数。3.根据权利要求2所述的目标检测的下边缘检测模型的训练方法,其特征在于,所述基于距离度量的回归问题损失函数使用均方误差损失函数、平均绝对值误差损失函数、平滑的平均绝对误差损失函数、Log-Cosh损失函数、分位数损失函数中的一种或几种。4.根据权利要求3所述的目标检测的下边缘检测模型的训练方法,其特征在于,所述基于距离度量的回归问题损失函数使用均方误差损失函数:其中为目标物体下边缘的预测值,其中yi为目标物体下边缘的标定值。5.根据权利要求4所述的目标检测的下边缘检测模型的训练方法,其特征在于,所述目标物体下边缘的预测值形状为1*W,所述目标物体下边缘的标定值1*W。6.根据权利要求5所述的目标检测的下边缘检测模型的训练方法,其特征在于,所述目标下边缘检测包含以下要素:1分割捕获图像中不同语义的部分,获得目标检测框中所属语义分割的类别要素;2语义分割后特定类别的实例分割结果;3各个实例分割结果中目标下边缘轮廓线;4各个实例分割结果下边缘轮廓线中与地面接触的接触点。7.一种目标检测的下边缘检测模型,其特征在于,包括以下部分:目标检测模块,所述目标检测模块由初始神经网络模型分割捕获图像中不同语义的部分,形成实例分割结果,再将分割结果进行实例分割获得不同语义中的各个实例,所述目标检测模块中还包括特征提取模块,所述特征提取模块用于提取各个实例目标检测框中目标图像的特征,以形成特征图;高度图提取模块,所述底边高度图提取模块通过高度图神经网络反复地在特征图上以多条分支进行卷积操作,再将多分支卷积操作结果合并,得到特征图对应的高度维度上为1的底边高度图;下边缘提取模块,所述下边缘提取模块用于以底边高度图中各个像素点的特征信息与原特征图中该列像素点特征信息比对,获得底边高度图单列像素点与原特征图该列像素点的对应关系,获得底边高度图中各个像素点在原特征图中的对应位置关系,以该对应位置关系获得目标检测框中实例的下边缘轮廓。8.根据权利要求7所述的目标检测的下边缘检测模型,其特征在于,所述特征提取模块包括但不限于提取目标检测框中特定卷积层的特征。9.根据权利要求8所述的目标检测的下边缘检测模型,其特征在于,所述特征提取模块包括分别提取目标检测框中多个卷积层的特征,还包括特征融合模块,所述特征融合模块用于将分别提取的多个卷积层特征进行特征融合,并获得融合特征的特征图,使用融合特征的特征图以代替原特征图。10.一种基于目标高度图提取的相对位置转换方法,其特征在于,包括以下步骤:S01:由目标检测模块通过基础神经网络分割捕获图像中不同语义的部分,形成分割结果,再将分割结果进行实例分割获得不同语义中的各个实例,将各个实例以目标检测框的形式标注标注出来,提取各个实例目标检测框中目标图像的特征,以形成特征图;通过高度图神经网络反复地在特征图上以多条分支进行卷积操作,再将多分支卷积操作结果合并,最终进行全连接展开目标的底边高度图;下边缘提取模块以底边高度图为输入,将底边高度图输入下边缘神经网络中,使各个像素点的特征信息与原特征图中该列像素点特征信息比对,获得底边高度图单列像素点与原特征图该列像素点的对应关系,获得底边高度图中各个像素点在原特征图中的对应位置关系,以该对应位置关系获得目标检测框中实例的下边缘轮廓;S02:提取目标检测框中实例的下边缘轮廓中相对地面最低位置的像素点,判断该像素点为目标检测框中所示物体与地面接触点,利用本体摄像头标定参数获得本体摄像头在地面的投影,通过坐标系换算取得本体与目标检测框之间的相对位置关系。11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:该程序被处理器执行时实现如权利要求1至6任一权利要求所述的方法中的步骤。
百度查询: 纵目科技(上海)股份有限公司 一种基于目标检测的下边缘检测模型的训练方法、模型和存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。