买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江大学

摘要：本发明公开了一种基于YOLOv5和时间编解码结构的红外视频弱小目标检测方法及系统，方法包括：获取红外视频，将视频切分成多帧图像；在每一帧图像上标注出待检测目标的位置信息，并构建样本将样本划分为训练集和测试集，每个样本均包含多个视频帧，在时间维度上具有连续性；基于YOLOv5和时间编解码器结构构建红外弱小目标检测模型，并使用训练集对模型进行训练，在测试集上进行测试。与单帧图像的目标检测不同，本发明使用连续多帧的图像，利用3D卷积网络提取时空特征，并加入时间编解码器结构对时序信息处理，以便于更准确地对红外弱小目标进行检测。

主权项：1.一种基于YOLOv5和时间编解码结构的红外视频弱小目标检测方法，包括如下步骤：（1）获取红外视频并对视频每一帧图像中的目标进行人工标注，同时对图像进行数据增强处理，具体地：对于红外视频中的每一帧图像，使用LabelImage软件对图像中的目标以矩形框的形式进行人工标注并记录矩形框左上角和右下角的位置坐标，进而通过以下表达式计算出矩形框归一化后的高、宽以及中心点坐标连同目标的类别作为图像的标注信息；然后对图像采用基于正态分布的随机噪声数据增强处理，即对图像注入经过随机采样的噪声，以此来模拟复杂背景条件下包含红外弱小目标的检测环境； ; ;其中：和分别为矩形框左上角和右下角的位置坐标，width和height分别为图像的宽和高，为矩形框归一化后的中心点坐标，w和h分别为矩形框归一化后的宽和高；（2）将红外视频切分为多段连续的图像帧序列并基于随机采样得到的时间因子构建样本，进而将所有样本划分为训练集和测试集，具体实现方式如下：2.1将红外视频切分为多段连续的图像帧序列；2.2对于任一图像帧序列，从中随机选取一张图像p，保证图像p前后均有T-1帧图像，T为设置的图像序列长度；2.3取图像p及其之后的T-1帧图像组成图像序列P；2.4从区间1,T中随机采样一个时间因子t，将图像序列P中第t帧图像的标注信息作为样本的真值标签；2.5将所述真值标签、时间因子t以及图像序列P组成为一个样本，进而将所有样本按比例划分为训练集和测试集；（3）构建基于YOLOv5和时间编解码结构的红外弱小目标检测模型，其包括：主干提取网络，用于提取图像中的空间信息特征；编码器网络，用于将序列中所有图像的空间信息特征融合在一起，得到具有时序信息的时空特征图；解码器网络，根据时间因子确定时间编码，使其作为时间维度上的偏移作用于时空特征图，从而突出其中一帧图像的特征用以预测目标的位置和类别；所述主干提取网络基于YOLOv5的轻量化Darknet，该Darknet使用3D卷积、3D池化和3D批量归一化操作，3D卷积在时间维度的卷积核大小为1，只对图像进行空间信息的提取，不进行时间信息的融合；所述编码器网络使用的3D卷积在时间维度的卷积核大小为3；所述解码器网络有选择性地从时空特征图中突出第t帧图像的特征，对第t帧图像进行目标检测，t为图像序列对应的时间因子；（4）利用训练集对上述红外弱小目标检测模型进行训练，以确定最优的模型参数并保存；（5）将测试集样本输入至训练好的模型中，即可检测出其中的红外弱小目标及其位置。

全文数据：

权利要求：

百度查询： 浙江大学 基于时间编解码结构的红外视频弱小目标检测方法及系统