买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京工业大学

摘要：一种基于FPGA的低空航拍影像目标跟踪的方法属于数字图像处理领域，将深度学习应用于嵌入式平台中，设计了用于目标跟踪的Siamese卷积神经网络架构，针对FPGA的资源限制问题对其加速优化，并将其作为TLDTrackingLearningDetecting跟踪框架的跟踪器一同进行模块化封装；搭建图像采集、数据处理和存储、目标跟踪模块以及控制调度的硬件系统，保证了跟踪的稳定运行；同时，本发明提供人机交互界面，操作简易；通过该方法进行控制，解决了无人机等飞行器跟踪依赖地面控制，通信容易受到干扰的问题，能够保证准确实时在线跟踪。

主权项：1.一种基于FPGA的低空航拍影像目标跟踪的方法，其特征在于：摄像头和显示器通过HDMI数据线与FPGA相连，HDMI输入输出端与数据存储与处理模块通过AXI4总线进行通讯，利用网线与FPGA的以太网接口连接传入初始目标跟踪框；ARM对跟踪算法进行控制调度，通过AXI4总线将控制信号下发到各个模块；针对摄像头获取的图像进行处理，根据提供的首帧目标框实现后续的目标跟踪；包括以下步骤：1搭建基于Siamese卷积神经网络的目标跟踪深度网络架构：网络架构包括SiamFC网络、倒残差模块和特征融合模块，由于采用孪生网络，因此两条分支共享网络参数；卷积核的尺寸通过W×H描述，W，H分别表示卷积核的宽度与高度；图像的尺寸通过C×W×H描述，C，W，H分别表示图像的通道数，宽度与高度；Siamese卷积神经网络采用AlexNet作为主干网络，并加入倒残差模块和特征融合模块；倒残差模块由一个1*1卷积核进行通道扩充，再用一个深度卷积核和1*1卷积核输出特征构成，将网络后四个卷积核用倒残差模块进行替换，起到降低计算量和加深网络作用，最终网络结构包括34个卷积层和4个池化层；在特征融合模块中，孪生网络的第7，10，15层分别上采样到相同尺寸，再经过1*1卷积核扩充到相同通道数，最后通过逐通道元素相加进行特征融合，得到两个特征融合层；在特征提取过程中，以图像对的方式输入到网络中，每个图像对由第一帧的模板图像和搜索域图像构成，分别输入到对应的特征提取网络分支当中；模板分支输入图像大小为3×127×127，在第一个卷积层中，经过96个步长为2的11×11大小的卷积核，再经过BN层和RELU6激活层，得到大小为96×59×59的特征图；在第二个卷积层中，经过96个步长为2的3×3大小的卷积核做最大池化MaxPooling，再经过BN层和RELU6激活层，得到大小为96×29×29的特征图；在第三个卷积层中，经过288个步长为1的1×1大小的卷积核，再经过BN层和RELU6激活层，得到大小为288×29×29的特征图；在第四个卷积层中，经过288个步长为1的5×5大小的卷积核做深度卷积，再经过BN层和RELU6激活层，得到大小为288×25×25的特征图；在第五个卷积层中，经过256个步长为1的1×1大小的卷积核，再经过BN层，得到大小为256×25×25的特征图；在第六个卷积层中，经过256个步长为2的3×3大小的卷积核做maxpooling，再经过BN层和RELU6激活层，得到大小为256×12×12的特征图；在第七个卷积层中，经过768个步长为1的1×1大小的卷积核，再经过BN层和RELU6激活层，得到大小为768×12×12的特征图；在第八个卷积层中，经过768个步长为1的3×3大小的卷积核做深度卷积，再经过BN层和RELU6激活层，得到大小为768×10×10的特征图；在第九个卷积层中，经过192个步长为1的1×1大小的卷积核，再经过BN层，得到大小为192×25×25的特征图；在第十个卷积层中，经过576个步长为1的1×1大小的卷积核，再经过BN层和RELU6激活层，得到大小为576×10×10的特征图；在第十一个卷积层中，经过576个步长为1的3×3大小的卷积核做深度卷积，再经过BN层和RELU6激活层，得到大小为576×8×8的特征图；在第十二个卷积层中，经过192个步长为1的1×1大小的卷积核，再经过BN层，得到大小为192×8×8的特征图；在第十三个卷积层中，经过576个步长为1的1×1大小的卷积核，再经过BN层和RELU6激活层，得到大小为576×8×8的特征图；在第十四个卷积层中，经过576个步长为1的3×3大小的卷积核做深度卷积，再经过BN层和RELU6激活层，得到大小为576×6×6的特征图；在第十五个卷积层中，经过128个步长为1的1×1大小的卷积核，再经过BN层，得到大小为128×6×6的特征图；由于本网络架构为孪生网络，因此搜索分支与模板分支共享相同的网络结构和网络参数，搜索分支输入图像大小为3×255×255，经过与模板分支相同的网络结构和网络参数，最终得到128×22×22的特征图；在网络的特征融合模块，通过两个网络分支提取特征，进行特征融合获得两个特征融合层；特征提取的第七个卷积层的特征图，经过1×1大小的卷积核，得到128个通道的特征图一；特征提取的第十个卷积层的特征图，经过1×1大小的卷积核，得到128个通道的特征图，再双线性插值上采样到特征图一的尺寸，得到特征图二；特征提取的第十五个卷积层的特征图，经过双线性插值上采样到特征图一的尺寸，得到特征图三；特征图一、二、三通过逐通道元素相加，得到最终的融合特征层，模板分支融合特征层尺寸为128×12×12，搜索分支融合特征层尺寸为128×28×28；最终将模板分支融合特征层看作尺寸为128×12×12的卷积核，步长为1，对搜索分支融合特征层做深度可分离卷积得到最终尺寸为1×17×17特征图，再对特征图进行双线性插值上采样得到1×255×255，得到跟踪目标位置和置信度；在训练过程中，先对数据集进行裁剪，每个样本的大小裁剪为127×127的模板图像和256×256的搜索图像作为网络的输入，训练特征提取网络和分类网络均采用随机梯度下降法，权重衰减设置为0.0005，用高斯分布初始化参数，训练50个epoch，每个epoch有50,0000个样本对，批量大小为8，学习率从10-2衰减到10-8；2针对跟踪算法的深度网络加速优化：对训练好的深度网络模型进行加速优化，包括剪枝和量化两个步骤；①剪枝采用稀疏度阈值剪枝作为剪枝策略，对模型的每层卷积核的权重按绝对值大小进行排序，对小于阈值的权值设为0，阈值计算公式如下： 其中St为当前稀疏度阈值，Si＝0为初始稀疏度，Sf＝0.5为目标稀疏度，Δt＝100为剪枝频率，t0＝0为剪枝开始时刻，n＝100为剪枝次数；因此每100步网络训练进行一次剪枝，总共剪枝100次；此外，记录网络未剪枝时在VOT2018数据集上的EAO结果，在每进行一次剪枝后测试VOT2018数据集的EAO结果，当EAO值相对初始结果下降超过0.05则停止剪枝，否则继续剪枝训练直到完成100次剪枝达到0.5的目标稀疏度；②量化对经过上述剪枝后得到的32bit浮点型网络模型进行8bit定点化，然后再进行网络训练，在前向传播时使用8bit的权重和激活函数，在反向梯度传播时使用浮点数进行梯度计算；3基于低空航拍影像跟踪方法的在线跟踪框架：结合TLD跟踪框架，将加速优化好的网络模型作为跟踪框架的跟踪器，利用TLD检测器和学习模块完成丢失目标找回以实现长时在线跟踪；TLD检测器用于丢失目标找回，由方差分类器，集合分类器以及最近邻分类器三个级联分类器构成；首先通过方差分类器计算搜索域中像素灰度值的方差，筛除小于目标区域方差50％的图像块；然后将通过的图像块输入到集合分类器中，集合分类器有10个基本分类器，每个分类器具有13个像素比较对，因此输入的图像块的像素比较对两两比较后会产生10个13位二进制编码，对10个二进制编码对应后验概率求平均值与阈值比较，筛选出正样本；最后将剩下的图像块输入到最近邻分类器中，进行相似性度量筛选出最终的正样本作为检测结果；学习模块通过跟踪器的结果对检测器进行评估，并根据评估结果产生训练样本对检测器的目标模型进行更新；在跟踪前，利用这些正负样本来训练集合分类器、最近邻分类器；在跟踪过程中，利用目标跟踪深度网络模型计算出运动目标位置和置信度，利用检测器计算出检测结果；当跟踪器的置信度或跟踪器与检测器的IOU大于阈值，判定为跟踪成功，输出跟踪结果；当跟踪器与检测器的IOU小于阈值，则根据当前帧跟踪框和检测结果对正负样本集进行更新，并对检测器进行更新；当跟踪器的置信度和跟踪器与检测器的IOU都小于阈值时，判定跟踪失败，用检测器重新初始化目标位置和尺度，输出检测结果；并根据当前帧错误跟踪框和检测结果对正负样本集进行更新，并对检测器和学习器进行更新。

全文数据：

权利要求：

百度查询： 北京工业大学 一种基于FPGA的低空航拍影像目标跟踪的方法