买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连理工大学

摘要：本发明涉及一种目标跟踪方法，一种基于目标检测的应用于无人船上的目标跟踪方法，包括以下步骤：1利用YOLO与其中的Darknet53结构对目标进行目标检测和特征值提取，2映射并提取检测目标窗口特征值，3通过MMS结构将大小、长宽不确定的特征矩阵转化为大小相同的特征矩阵，4重复步骤2、3将每个目标窗口得到的特征矩阵保存下来，5将摄像机拍摄的第二帧原图像进行步骤1、2、3、4操作，得到每个目标窗口的特征矩阵6对第一、二帧原图像中的目标窗口进行相似度比较，判断是否为同一目标。本发明是将目标检测与跟踪进行融合，只需要一次计算的特征值便可同时用于目标检测与跟踪，节省了计算成本。

主权项：1.一种基于目标检测的应用于无人船上的目标跟踪方法，其特征在于包括以下步骤：步骤1、利用YOLO与其中的Darknet53结构对目标进行目标检测和特征值提取，定义摄像头拍摄的图像为原图像，在实行目标跟踪开始时，将摄像机拍摄的第一帧原图像传入yolov3网络，输出yolov3的目标检测结果以及Darknet53特征提取网络中第19个残差结构得到的32×32×512度特征图Fm1，保存得到的各个检测目标种类及位置信息；步骤2、映射并提取检测目标窗口特征值，将第一帧原图像传入yolov3网络后检测出的所有目标窗口w1,w2,L,wn，依次映射到由Darknet53特征提取网络得到的维度特征图上得到所有目标窗口的特征矩阵，首先将第一个目标窗口w1得到的特征矩阵提取出来，进行2乘上采样操作，具体的映射关系通过式1进行描述，x,y＝S*x′,S*y′1具体的特征提取通过式2、3进行描述，窗口左、顶部： 窗口右、底部： 式中，S为Darknet53特征提取网络中第19个残差结构之前，包括第19个残差结构在内的所有的strides的乘积，x,y为第一帧原图像上某一点的坐标，x为第一帧原图像横坐标值，y为第一帧原图像纵坐标值，x′为维度特征图上对应的横坐标值，y′为维度特征图上对应的纵坐标值；步骤3、通过MMS结构将大小、长宽不确定的特征矩阵转化为大小相同的特征矩阵，考虑到根据检测目标窗口w1映射到维度特征图上得到的特征矩阵长宽不一定相等，如果将特征矩阵进行截取操作得到长宽相等的特征矩阵，则会丢失部分信息，使相似度比对不准确，所以将得到的特征矩阵传入设计的MMS即MeshMaximumSelection结构中，从而将输入的大小不固定的特征矩阵Fm2转化得到大小相同的特征矩阵以实现后续相似度比对操作，其中传入MMS前的特征矩阵Fm2维度为a*b*512，具体包括以下子步骤：a第1层MMS，对上述得到的特征矩阵在每个深度维度上求取最大值，得到1×512维度矩阵L1；b第2层MMS，将特征矩阵划分为2×2共计四个块，其中具体的划分通过式4进行描述， 式中，n为当前MMS层数，a为传入MMS前的特征矩阵Fm2维度中的宽度，b为传入MMS前的特征矩阵Fm2维度中的高度，为n*n个块中第i行第j列块的宽度值，为n*n个块中第i行第j列块的高度值，对划分好的每一个块求取其在各个深度的最大值，最终得到4×512维度矩阵L2；c第3层MMS，将特征矩阵Fm2划分为3×3共计九个块，其中具体的划分通过式4进行描述，对划分好的每一个块求取其在各个深度的最大值，最终得到9×512维度矩阵L3；d将第1、2、3层MMS得到的维度矩阵L1、L2、L3进行拼接，从而实现了从不固定的a*b*512特征矩阵转化到了1×14×512特征矩阵步骤4、重复步骤2、3将每个目标窗口得到的1×14×512特征矩阵保存下来；步骤5、将摄像机拍摄的第二帧原图像进行步骤1、2、3、4操作，得到每个目标窗口的1×14×512特征矩阵步骤6、对第一、二帧原图像中的目标窗口进行相似度比较，判断是否为同一目标，实施目标跟踪，具体包括以下子步骤：a将第一帧原图像第一个窗口与第二帧原图像检测出的同一类别的第一个目标对应得到的1×14×512特征矩阵展开成7168×1维度特征向量b将两个维度特征向量进行相减，再进行绝对值求和，相当于求取了两个维度特征向量插值的L1范数,也相当于求取了两个维度特征向量的距离Dw，通过式5进行描述， 式中，Dw表示两个维度特征向量的距离；c将Dw进行三次全连接，最后一次全连接接到一个神经元上，对这个神经元的结果取sigmoid得到相似度s，使其值在0-1之间，代表两个输入图片的相似程度，根据工程实际情况选取阈值t，根据相似度就能判断是否为同一物体，具体判断是否为同一物体通过式6进行描述 d如果是同一物体，则给予第一、二帧原图像中参加运算的窗口对应的由目标检测得到的边界框同一id，实现目标跟踪，如果不是同一物体，则将第一帧原图像中第一个窗口与下一帧检测出同一类别的下一个目标窗口进行上述步骤6中的a、b、c操作，判断是否为同一物体，直至遍历所有第二帧原图像中检测出的与第一帧原图像中第一个窗口同类别物体的窗口；e遍历结束后，将第一帧原图像中的下一个窗口重复进行步骤2、3、4、5、6操作；f在第一帧原图像与第二帧原图像比对结束后，将下一帧原图像与第二帧原图像进行比对，比对方法与上述步骤1至步骤6相同，以此类推，进行后续帧的比对从而实现目标跟踪。

全文数据：

权利要求：

百度查询： 大连理工大学 一种基于目标检测的应用于无人船上的目标跟踪方法