买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:中远海运科技股份有限公司
摘要:一种车辆目标轨迹跟踪方法,包括,从道路监控视频图像中,借助经过训练的车辆目标识别模型识别锁定感兴趣的车辆目标;从得到的车辆目标上计算确定多个角点;对所述车辆目标上的每一个角点计算光流轨迹;从得到的多条角点光流轨迹中计算确定一条最优轨迹,作为所述车辆目标的运动轨迹。所述的车辆目标识别模型基于深度学习算法。
主权项:1.一种车辆目标轨迹跟踪方法,其特征在于,包括以下步骤,从道路监控视频图像中,借助经过训练的车辆目标识别模型识别锁定感兴趣的车辆目标;从得到的车辆目标上计算确定多个角点;对所述车辆目标上的每一个角点计算光流轨迹;从得到的多条角点光流轨迹中计算确定一条最优轨迹,作为所述车辆目标的运动轨迹,所述的车辆目标识别模型基于深度学习算法,具体步骤如下:1使用Darknet深度学习框架来实现yolov3算法,拉取并编译Darknet,使用GPU和CUDNN来加速运算;2深度学习需要大量的打标数据,选取coco数据集中的person、car、bus、truck四类数据,再使用labelimg标注工具来标注项目中需要的车辆目标图片,整理成数据集,通过脚本将其转换成所需的数据格式类型;3根据检测要求和设备硬件配置,修改cfg配置文件,目标种类classess=4,filters=27,batch=64,subdivisions=16,输入目标图片大小width=416,height=416,以及训练次数max_batches=50200;4调整训练参数,使之可以顺利训练出模型,学习率learning_rate=0.001,学习率策略policy=steps,动量momentum=0.9和权重衰减decay=0.0005;5使用服务器训练模型,训练loss曲线和iou曲线,在训练次数达到45000次时,loss值趋于平缓,模型已收敛;6得到训练结果yolov3.weights文件;7在测试集上测试模型性能,设定iou=0.7,得到检测准确率为99%;8如果测试效果不理想,修改打标文件,重新训练;其中,确定车辆目标角点的方法包括:计算车辆目标框内所有像素点x,y处的灰度值Px,y平移a,b后的自相似性,用灰度变化函数表示:Ea,b=∑[Px+a,y+b-Px,y]21对公式1进行泰勒展开: 带入得到:Ea,b≈[a,b]M[a,b]3其中:矩阵M中的λ1和λ2是此二次项函数中的两个决定性特征值,当λ1和λ2都较大且数值相当时,说明图像在所有方向移动都将产生明显灰度变化,即此点是角点,角点响应函数R=maxλ1,λ2,当一个小窗口在图片区域内滑动时,窗口内的灰度值变化较小,则Px和Py较小,R接近于0,即λ1和λ2都较小,当小窗口内的灰度值在水平和竖直方向上的灰度只变化都较大时,则Px和Py较大,R值就很大,即λ1和λ2都很大,选取R值最大的若干个点作为角点,进行后续计算;其中,计算角点光流轨迹方法包括:设角点坐标x,y,在时刻t的亮度为Px,y,t,那么此点的光流在水平和垂直方向上的速度分量分别为: 所述视频图像的帧间隔为Δt,Δt后所在点的亮度为Px+Δx,y+Δy,t+Δt,利用泰勒展开: 根据LK光流算法:1角点像素在帧间运动时,Δt时间间隔较小,可以看作亮度恒定不变;2车辆目标是时间连续的,并且帧间运动距离较小,即角点前后帧变化缓慢;3车辆目标是刚性物体,车身上的点运动方向相似,速度相似,即角点邻近区域光流一致;由以上三点可以得出: 同样的: 这里的Vx,Vy就是在像素点x,y在水平和垂直方向的速度,即光流,对像素点x,y求偏导,分别用Ix,Iy和It表示,可以得出光流表达式:IxVx+IyVy=-It11使用固定窗口,对于像素点mn来说,列出以下公式:Ixm1Vx+Iym1Vy=-Itm1Ixm2Vx+Iym2Vy=-Itm2......IxmnVx+IymnVy=-Itmn12对公式求解,得出: 利用金字塔的结构自上而下修正运动量,进行金字塔迭代,其过程为:1对每一帧建立一个高斯金字塔,最低分辨率图像在最顶层,原始图片在底层;2计算顶层光流,通过最小化每个点的邻域范围内的匹配误差和,得到顶层图像中每个点的光流为, 3顶层的计算结果反馈到Lm-1层,作为该层的初始时的光流值g,gL-1=2gL+dLgL-1=2gL+dL4沿着金字塔向下反馈,重复估计动作,直到金字塔的底层,即原图像层,d=g0+d0;5计算每一层的光流,最终得到所有图层的光流之和,对于每一层L,每个点的光流的计算都是基于邻域内所有点的匹配误差和最小化, 6根据上一帧的光流值,找出角点x,y在下一帧的坐标,即得出点在时间序列上的运行轨迹;其中,最优轨迹线选取方法包括,1筛除坐标变化位移较大的轨迹,根据车辆在短时间内灰度保持不变的特征,判断出单帧位移较大的轨迹线为错误跟踪轨迹;2筛除跟踪轨迹不在目标框内的轨迹;3计算各个轨迹的直线度,选取直线度较好的轨迹线;4选择坐标接近于车底的轨迹,作为车辆的最优轨迹线。
全文数据:
权利要求:
百度查询: 中远海运科技股份有限公司 一种车辆目标轨迹跟踪方法和装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。