买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京航空航天大学;中国电力科学研究院有限公司

摘要：本发明公开了一种高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法及装置，涉及舰船舰载无人机回收领域。不仅能够简易部署在大型舰船上，并且能够实现远距离舰载无人机高速回航时的实时定位，为回收控制系统提供准确运动信息。包含以下步骤：S1、构建特有数据集；S2、对数据集进行人工标注；S3、进行YOLOv5检测模型的训练；S4、将模型与YOLOv5检测算法整体部署于嵌入式图像处理板；S5、将YOLOv5检测算法扩展改进为非预测式检测‑跟踪算法；S6、对载入模型且改进后的检测‑跟踪算法进行加速推理；S7、利用整体集成于pytorch框架下加速的检测‑跟踪算法对舰载无人机的回航运动轨迹实时检测跟踪。与同类方法比较该算法的同构集成度极高，能够稳定确保检测跟踪任务的精确度与实时性。

主权项：1.一种高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法，其特征在于，搭建具有YOLOv5深度学习模型的嵌入式实时检测跟踪组合框架，包含以下步骤：S1、通过拍摄设备获取各类无人机回航时的图像数据，利用这些无人机数据构建一个专用于舰载无人机回航运动轨迹检测跟踪模型训练的数据集；S2、对步骤S1采集的数据集进行人工标注，标注数据集中无人机目标对象的像素位置框图，记录下像素框坐标作为训练真值，保存为.txt文件；S3、以S1和S2构建的各类无人机数据集采用预设训练方法进行YOLOv5检测模型的训练；具体过程为，首先在网络输入端对舰载无人机数据集进行自适应锚框计算以及自适应图片缩放，然后通过YOLOv5卷积神经网络在不同图像细粒度上聚合并形成图像特征，在此基础之上，YOLOv5又将输入的训练数据特征图拆分成m×m个方格，每个方格根据舰载无人机中心位置的像素坐标来判定是否具备检测目标对象的任务，如果是则输出包含舰载无人机目标的矩形区域信息以及该对象隶属于舰载无人机的概率信息；上述矩形区域信息囊括了左上及右下两个角点的像素坐标值以及该区域是否准确的置信度，该置信度采用IOU的值来衡量，IOU用于计算预测位置与目标真实位置的交集面积，其中Confidence为置信度值，object为检测跟踪的回航无人机对象，True代表检测到目标，False代表未检测到目标，IOU为交并比，Overlap为预测边框和真实边框的交集，Union为预测边框和真实边框的并集，P代表概率值，S代表面积值：Confidence＝Pobject×IOU 通过深度学习的训练方式，设置交叉熵损失函数，通过小批量梯度下降法求解损失函数最优解的过程来指导训练，采用的损失函数具体形式如下： 该损失函数中λcoord用于表示该损失的权重值，该损失函数上半段包含对于boundingbox负责对象的具体网格判断以及坐标预测，其中x，y代表检测跟踪的回航无人机目标框左上角点在图像中的像素坐标，w，h代表目标框的宽度与高度，在YOLO算法中，对图像进行网格化，对网格区域进行逐一的预测获取目标对象检测框局域信息，再整合计算确定整个图像中待检测回航无人机的检测框信息，故Cijobj代表网格单元i的第j个边界框预测器负责执行该局域预测，S2和B分别是网格单元与边界框预测器的数量，而下半段含目标对象的boundingbox置信度预测和不含目标对象的boundingbox置信度预测，并最终进行类别预测，故Ciobj代表目标出现在网格单元i中，Cinoobj代表目标未出现在网格单元i中，C为置信度值，c为类别，pc为类别概率值；对训练过程调整学习参数，记录交叉熵损失函数及精度变化，小批量训练的方式避免训练过程陷入局部最优解；步骤S3输入的数据尺寸为544×544，对YOLOv5固有网络模型采用模型裁剪技术，将神经网络每层神经元个数裁剪至原来的四分之一，将神经网络层数裁剪为原来三分之一，去掉部分在权重更新过程中不起决定性作用的神经元，通过这种模型缩减的方法既能保证模型精度，同时也能保证训练出的模型具备较快基准检测速度；针对裁剪过的模型采用新的训练anchors参数，参数取九个数值，共三行九列，每一行对应一层特征图，从大到小排列，输入经过特征提取模块Backbone以及Head，最后由三层卷积层以及sigmoid激活函数组成预测层对输入数据的目标位置框进行预测；S4、将权重模型转化为.wts文件，再生成为.engine序列模型文件，将模型与YOLOv5检测算法整体部署于嵌入式图像处理板；S5、在图像处理板的Linux环境下将YOLOv5检测算法扩展为基于先验检测的非预测式检测-跟踪算法，改进后的算法仅检测预设目标，作用于视频流每一帧对预设目标进行跟踪；具体来说：基于步骤S3和S4获得的成熟检测模型以及舰载无人机的位置信息，对每一帧视频流都利用深度学习检测网络YOLOv5+特定模型的方式检测舰载无人机的位置，由于输入数据为实时视频流，故首先通过滞空模型判断是否定位到检测目标，如果未检测到目标则滞空回环，不进行跟踪，也不中断视频流传输，若检测到目标，则固定算法中的矩阵信息，接入概率判断模型，锁定回航无人机目标，实现对隶属度概率最高的舰载无人机目标对象的跟踪，并记录画出其最小外接矩形，采用构建掩膜的方式保留矩形框的彩色部分，图像其余部分置黑；对视频流的逐帧快速检测实现尺度自适应的目标跟踪任务；最后再整体输出关于舰载无人机的各帧位置数据集合；该集合包括：当前帧数n，处理速度fps，隶属度概率α，最小外接矩形左上点，右下点，中心点像素坐标以及长宽值；S6、利用TensorRT模型解析推理加速技术搭建pytorch框架，建立动态链接库，对载入模型后的检测-跟踪算法进行加速推理；S7、利用整体集成于pytorch框架下加速的检测-跟踪算法对舰载无人机的回航运动轨迹实时检测跟踪。

全文数据：

权利要求：

百度查询： 南京航空航天大学 中国电力科学研究院有限公司 一种高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法及装置