买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：哈尔滨工业大学(威海)

摘要：本发明涉及基于多假设跟踪的多目标跟踪方法。本发明的目的是定量分析费用矩阵，将匹配过程分为标准匹配与模糊匹配，对于标准匹配采用深度级联匹配算法求解，对于模糊匹配采用多假设跟踪算法求解，最后将两部分的结果结合作为目标跟踪结果。

主权项：1.基于多假设跟踪的多目标跟踪方法，其特征在于如下步骤：第一步：采集红外船舶图像数据，划分为训练集、验证集和测试集，训练YOLOv8模型，得到训练好的YOLOv8模型；第二步：读取第f帧红外船舶图像I，图像的大小为M×N，其中M是图像I的宽度像素数，N是图像I的高度像素数，将红外船舶图像I输入训练好的YOLOv8模型，得到由n个目标组成的目标位置集合di表示第i个检测结果，其对应的目标检测框左上角、右下角像素点的坐标分别为x1,y1、x2,y2，如公式1、2所示： di＝[x1,y1,x2,y2]2第三步：根据已跟踪目标的状态信息预测其在当前帧的位置，具体过程如下：a定义已跟踪目标在第f-1帧目标检测框状态信息，代表已跟踪目标集合，m代表已跟踪目标个数，xj表示中第j个已跟踪目标的目标检测框状态信息，x,y表示已跟踪目标的目标检测框左上角的坐标，w,h表示已跟踪目标的目标检测框的宽度和高度，vx,vy表示坐标x,y的运动速度，vw,vh表示w,h的运动速度，如公式3、4所示： xj＝[x,y,w,h,vx,vy,vw,vh]4b基于已知状态信息使用Kalman滤波预测集合中已跟踪目标在当前帧f的位置，获取预测位置集合m代表已跟踪目标个数，tpj表示中第j个已跟踪目标在当前时刻的预测结果，其对应的目标检测框左上角、右下角像素点的坐标分别为x″1,y″1、x″2,y″2，如公式5、6所示： tpj＝[x″1,y″1,x″2,y″2]6第四步：计算集合与集合中每个目标检测框的伪深度，得到伪深度集合以及伪深度集合具体过程如下：a按照公式7计算中每个目标检测框的伪深度，hdi表示第二步中di的伪深度，如公式8组成伪深度集合hdi＝N-y27 b按照公式9计算中每个目标检测框的伪深度，hpj表示第三步中tpj的伪深度，如公式10组成伪深度集合hpj＝N-y″29 第五步：将集合与按照伪深度信息进行分组，具体操作流程如下所示：a确定伪深度集合的最大值hdmax与最小值hdmin，将范围hdmin,hdmax均匀分为k组，将集合中元素按照其伪深度值的大小划分到k个对应组中，得到由伪深度分组组成的集合depdl表示第l分组，dli表示第l分组中第i个检测结果，如公式11、12所示： depdl＝{dl1,dl2,…,dli}12b按照同样方法将伪深度集合分为k组，得到分组组成的集合deptl表示第l个分组，tlj表示第l分组中第j个检测结果，如公式13、14所示： deptl＝{tl1,tl2,…,tlj}14第六步：利用交并比IntersectionoverUnion,IoU分别计算集合与集合之间的费用矩阵，得到k个费用矩阵构成的矩阵集合如公式15所示： 以Cl为例说明集合的计算过程，Cl是中第l分组depdl与deptl之间的费用矩阵，其中，Cli,j是depdl中第i个元素depdli与deptl中第j个元素deptlj的IoU值，如公式16所示：Cli,j＝IoUdepdli,deptlj16第七步：定量分析集合拆分集合得到属于标准匹配的目标位置集合与属于模糊匹配的目标位置集合包含k组属于标准匹配的目标位置，dep′dl表示的第l分组，包含k组属于模糊匹配的目标位置，Ambdl表示的第l分组，如公式17、18所示： 拆分集合得到属于标准匹配的预测位置集合与属于模糊匹配的预测位置集合包含k组属于标准匹配的预测位置，dep′tl表示的第l分组，包含k组属于模糊匹配的预测位置，Ambtl表示的第l分组，如公式19、20所示： 具体流程如下：a设置区分模糊匹配与标准匹配的阈值Δ；b寻找集合中每个费用矩阵的模糊匹配，以第l个费用矩阵Cl为例，分别遍历Cl的行和列，以Cl第i行Cli,:和Cl第j列Cl:,j为例，具体流程如下：1找到Cli,:的最小值cmin，寻找Cli,:在cmin,cmin+Δ范围内的值；2若在Cli,:中存在cmin,cmin+Δ范围内的值，将depdl的第i个元素depdli放入集合Ambdl中，若不存在，将depdli放入集合dep′dl，最后得到dep′dl与Ambdl；3找到Cl:,j的最小值c′min，寻找Cl:,j在c′min,c′min+Δ范围内的值；4若在Cl:,j中存在c′min,c′min+Δ范围内的值，将deptl的第j个元素deptlj放入集合Ambtl中，若不存在，将deptlj放入集合dep′tl，最后得到dep′tl与Ambtl；第八步：求解标准匹配与模糊匹配，具体流程如下：a使用IoU分别计算与之间的费用矩阵，得到k个费用矩阵构成的矩阵集合如公式21所示： 以Cl1为例说明集合的计算过程，Cl1是与的第l个分组dep′dl与dep′tl之间的费用矩阵，其中，Cl1i,j是dep′dl的第i个元素dep′dli与dep′tl的第j个元素dep′tlj的IoU值，如公式22所示：Cl1i,j＝IoUdep′dli,dep′tlj22采用SparseTrack中的深度级联匹配DepthCascadeMatching,DCM算法对集合进行匹配，得到已匹配的目标位置与预测位置集合未匹配的预测位置集合以及未匹配的目标位置集合三部分结果，match1i为的第i对已匹配的目标位置dm1i与预测位置tm1j，如公式23、24所示： match1i＝{dm1i,tm1j}24tu1j是第j个未匹配的预测位置，如公式25所示： du1l是第l个未匹配的目标位置，如公式26所示： b对于集合与集合暂不进行匹配，保留其直至到第f+p帧，p为常数，得到p+1帧内属于模糊匹配的目标位置集合组成的集合ambdetframe与p+1帧内属于模糊匹配的预测位置集合组成的集合ambtrackframe，表示第f+i帧属于模糊匹配的目标位置集合，表示第f+i帧属于模糊匹配的预测位置集合，如式27、28所示： 将ambdetframe与ambtrackframe输入多假设跟踪MultipleHypothesisTracking,MHT算法求解第f帧集合与集合的匹配关系，得到第f帧已匹配的目标位置与预测位置集合未匹配的预测位置集合以及未匹配的目标位置集合三部分结果，match2i为的第i对已匹配的目标位置dm2i与预测位置tm2j，如公式29、30所示： match2i＝{dm2i,tm2j}30tu2j是第j个未匹配的预测位置，如公式31所示： du2l是第l个未匹配的目标位置，如公式32所示： c在延迟p帧后，结合a与b的匹配结果，得到已匹配的目标位置与预测位置集合未匹配的预测位置集合以及未匹配的目标位置集合三部分结果，matchi为的第i对已匹配的目标位置dmi与预测位置tmj，如公式33、34所示： matchi＝{dmi,tmj}34tuj是第j个未匹配的预测位置，如公式35所示： dul是第l个未匹配的目标位置，如公式36所示： 第九步：通过集合集合以及集合的每个元素更新第三步的已跟踪目标集合并输出第f帧目标跟踪结果，具体过程如下：a对于集合中已匹配的matchi，使用matchi的目标位置信息dmi通过Kalman滤波更新matchi的预测位置tmj所属已跟踪目标的状态信息xmj；b对于集合中未匹配的预测位置tuj，设置其所属的已跟踪目标为丢失状态，其所属已跟踪目标丢失时间加1，若丢失时间超过30，则从集合中删除该跟踪目标状态信息xuj；c对于集合中未匹配的检测结果dul，视为新的已跟踪目标，按照Kalman滤波算法初始化跟踪目标状态信息xul，将其放入集合中；d使用Kalman滤波观测方程，根据集合中已跟踪目标状态信息得到第f帧目标跟踪结果。

全文数据：

权利要求：

百度查询： 哈尔滨工业大学(威海) 基于多假设跟踪的多目标跟踪方法