买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京工业大学

摘要：本发明公开了适用于铁路环境下的异物入侵检测方法，包括如下步骤，步骤1：建立供深度学习训练的铁路异物入侵样本集；步骤2：建立深度学习检测网络模型；步骤3：针对铁路场景的目标检测的优化网络；步骤4：模型剪枝操作；利用数据增强技术将原有的数据集进行扩充，该方法可以很好的提升训练时模型的鲁棒性以及一定程度上可以规避训练的时候出现过拟合的问题。除此之外，本发明使用了大模型与人工智能生成内容AIGC，即使用“文生图”的方式根据需求生成虚拟的铁路环境下含有异物入侵的图片，该技术能够很好的弥补目前现实中没有或者少有的异物入侵目标图片，图片的真实效果可与现实世界相当。

主权项：1.适用于铁路环境下的异物入侵检测方法，其特征在于，该方法包括如下步骤，步骤1：建立供深度学习训练的铁路异物入侵样本集；结合铁路环境下的入侵目标，通过对铁路各场景的海量视频数据，进行收集、分类和标注，重新创建了铁路异物入侵样本数据集；结合工程实际可能出现的异物类别，最终将异物检测类别定在四类，分别为行人、前车、动物以及落石；数据集的结构将按照“训练集”与“验证集”划分，根据深度学习训练的经验，划分比例为5：1；此外，在标注过程中要注意采用恰当的标注方式；一般而言，样本图片标注的边界框的长宽比应适中，如果比例失衡将会对训练过程及质量产生影响；数据标注工作使用Labeling软件完成，标注后的xml文件与原图像经过分类即可构成训练数据集，用于深度学习模型的训练；步骤2：建立深度学习检测网络模型；基于深度学习的目标检测算法分为单阶段OneStage检测算法以及双阶段TwoStage检测算法；基于单阶段目标检测算法YOLO的框架架构，即“特征提取+特征堆叠+输出”的结构，结合铁路异物特点，重新设计单阶段的目标检测算法；步骤3：针对铁路场景的目标检测的优化网络；步骤3.1：特征提取网络设计首先，为适应网络模型在列车嵌入式设备中的应用，引入改进的GhostNet网络结构，利用线性操作来生成特征图；为实现网络的轻量化，使用深度可分离卷积GhostConv卷积模块替代原普通卷积层；为能够准确获取特征图细节信息，分离出多尺度局部特征信息，使用1×1实现更深层特征提取，然后把输出的数据分成若干组特征，经由5×5大小的卷积核进行线性变换，对特征进行更深层次的提取，将变换结果进行堆叠操作，合并输出；网络通过分组卷积的方式来平衡分组效果和卷积数量；其次，在GhostNet基础上添加GC-Block；接着，使用激活函数Mish取代原来GhostNet中的ReLU；最后，在特征提取网络以及特征融合网络中间，加入SPP结构，在不同尺度下对输入特征图进行池化操作，以捕捉物体在不同大小上的特征，选用通过1×1、5×5、13×13和26×26的最大池化，增大特征图的感受野，增强模型对不同尺度物体的检测能力；最后，将以上各个模块进行拼接，形成特征提取网络；步骤3.2：特征融合网络BiFPN；双向特征金字塔网络BiFPN，融合FPN，PANet以及NAS-FPN的特点，在FPN只有自上而下的单向信息的基础上，加入额外的自下而上的路径以及基于神经结构搜索方式的交叉路径，组成一种加权方式的双向特征金字塔网络，该双向特征金字塔网络引入可学习的权值来学习不同输入特征的重要性，同时反复应用自顶向下和自底向上的多尺度特征融合；在特征融合过程中去学习权重；BiFPN采用快速归一化特征融合方法，如式12所示： 该过程看作一种利用无限制融合以及softmax函数融合的优化方法，其中，wi表示特征Ii对应的权重，权重通过ReLU确保取值大于等于0，之后通过Ii的左边式子归一化到0与1之间，分母的∈取值为0.0001；BiFPN的过程如下；首先，用数学公式描述多尺度特征融合，给定一系列的不同尺度的特征，其输入输出关系如式13和14所示， 其中表示不同尺度的特征，如式15所示： 其中，特征的分辨率为输入图像分辨率的经过特征融合，如式16所示， 其中Conv表示卷积操作，Resize通常表示上采样或将采样操作；最后，BiFPN通过结合双向交叉尺度连接以及快速归一化融合方式，由式17以及18给出， 其中表示表示level6的地一个节点的输出，为level6的第二个节点的输出；在进行特征融合时，卷积操作采用的是深度可分离卷积，并且在每个卷积层后都带有BatchNormalization以及激活函数层；步骤3.3：CIoU损失函数；CIoU的计算方法如下，首先给出IoU与CIoU的表达式，如式19与20所示， 其中，A与B分别代表真实框与预测框，ρ2b,bgt表示预测框与真实框中点的欧式距离，C是预测框与真实框的最小包围框的对角线长度；同时，CIoU的计算中也加入了检测框尺度的loss，即对其宽与高纳入计算，具体实现方式则是在CIoU后面加入修正项，具体计算方式如式21与22所示， 最后，给出CIoU的损失函数公式，如式23所示； 步骤4：模型剪枝操作；采用的模型压缩方法，利用卷积神经网络的必备组件BN层中的γ参数，实现端到端的学习并剪枝；同时将L1正则化施加到BN层的缩放因子γ上，通过稀疏训练，促使对列车检测作用很小的参数所对应的BN层的缩放因子γ趋向于0；由于每个缩放因子γ均与某个特定的卷积通道或全连接层的一个神经元相关联，自动识别出不重要的通道，随后删除这部分低于阈值的通道和层；直接利用BN层的γ参数来标识其前面的Conv层输出特征图的某个通道是否重要，且在这期间并未产生额外的花销。

全文数据：

权利要求：

百度查询： 北京工业大学 适用于铁路环境下的异物入侵检测方法