买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京理工大学

摘要：本发明公开了一种基于PSPNet‑RCNN的球机监控异常检测方法，具体为：采集同位置多时段曝光图像融合生成HDR图像，然后与原始位置图像进行SIFT特征配准，得到配准HDR图像并进行增强处理；将PSPNet网络金字塔池化模块的空洞卷积的空洞率增大，并对PSPNet增加编解码卷积神经网络分支，再将特征提取模块的入口增加残差卷积网络，用于双图像的输入，得到改进多尺度PSPNet网络，将其与提取HDR图像中目标信息的MaskR‑CNN网络相融合，得到PSPNet‑RCNN图像异常检测网络，用于提取图像异常区域。本发明提升了球机监控异常检测方法的通用性与准确性，并加强了检测结果的实时性与鲁棒性。

主权项：1.一种基于PSPNet-RCNN的球机监控异常检测方法，其特征在于，包括步骤如下：步骤1：通过PTZ摄像头采集同位置多时段曝光图像，根据不同曝光强度的图像融合生成HDR图像；步骤2：对HDR图像与原始位置图像进行SIFT特征配准，匹配对应位置的图像特征点，得到配准HDR图像；步骤3：对配准HDR图像进行预处理，增强图像对比度、锐度、饱和度与亮度，得到增强后的配准HDR图像；步骤4：将PSPNet网络金字塔池化模块的空洞卷积的空洞率增大，并对PSPNet增加编解码卷积神经网络分支，再将特征提取模块的入口增加残差卷积网络，用于双图像的输入，最终得到改进多尺度PSPNet网络；步骤5：将改进多尺度PSPNet网络与提取HDR图像中目标信息的MaskR-CNN网络相融合，得到PSPNet-RCNN图像异常检测网络，再通过此网络对图像预测，提取对应的图像异常区域；步骤4所述将PSPNet网络金字塔池化模块的空洞卷积的空洞率增大，并对PSPNet增加编解码卷积神经网络分支，再将特征提取模块的入口增加残差卷积网络，用于双图像的输入，最终得到改进多尺度PSPNet网络，具体步骤如下：4.1将PSPNet金字塔池化模块空洞卷积的空洞率由1,2,3,6增加到1,6,12,18，扩张网络的感受野，增加对于图像全局信息的提取能力，相应的特征图大小也下采样至原图像的18，保证网络数据维度的统一；4.2扩张空洞率后，对图像特征提取网络增加编码器与解码器网络分支，通过降采样与上采样的方式加强图像整体轮廓特征的提取能力，该网络分支采用两层的3×3卷积核进行特征提取，增加网络特征尺度，拓宽数据提取的维度范围；4.3增加编解码器后，将网络的卷积入口增加残差网络分支，分别用于原图像与增强配准HDR图像的双图像特征提取，对双图像池化得到的特征图进行融合上采样，以增加图像的细节信息，通过三个步骤的网络构建即得到了改进多尺度PSPNet网络；步骤5所述将改进多尺度PSPNet网络与提取HDR图像中目标信息的MaskR-CNN网络相融合，得到PSPNet-RCNN图像异常检测网络，再通过此网络对图像预测，提取对应的图像异常区域，具体步骤如下：5.1将MaskR-CNN网络的特征提取网络增加改进多尺度PSPNet网络分支，输入图像通过双端网络同时进行卷积运算，最终双端网络对480,360,3的图像降采样到相同的尺寸大小为60,45,3；5.2将双端网络的输出层使用全连接层进行融合，即通过480×360×2×2的卷积层对双端网络的输出特征图进行卷积，再通过Softmax层计算不同像素分到相应类别的概率，保证全部分类概率之和为1，则MaskR-CNN网络与改进多尺度PSPNet网络融合为PSPNet-RCNN图像异常检测网络；5.3将PTZ监控器采集的图像与转换后增强配准HDR图像同时输入到PSPNet-RCNN图像异常检测网络模型中，通过融合网络具有的场景与目标分割能力，判断不同目标在相应场景下的状态，提取异常区域，进而完成监控图像异常检测。

全文数据：

权利要求：

百度查询： 南京理工大学 基于PSPNet-RCNN的球机监控异常检测方法