买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：珠海安联锐视科技股份有限公司

摘要：本发明提供了一种基于深度学习的融合双背景物品遗留丢失检测方法，具体包括：S1、生成物品遗留丢失数据集；S2、检测模型训练与测试；S3、设备端应用；等步骤。本基于深度学习的融合双背景物品遗留丢失检测方法，通过将双背景建模和目标检测网络进行融合，生成数据集并训练目标检测模型，训练好的网络模型可以直接输出目标位置以及是遗留或是丢失，既解决了传统背景建模前景检测的效果不好问题，又解决了只能检测特定的几种物品的问题。

主权项：1.一种基于深度学习的融合双背景物品遗留丢失检测方法，其特征在于具体包括如下步骤：S1、生成物品遗留丢失数据集S11、从coco数据集中随机选取一定数量的背景图和分割目标图像，将图像id和对应id标注信息放到list中，使得通过图像id能找到对应的图片；S12、从list中选择一个背景图，再从list中随机选取若干分割目标，每个分割目标在背景图上随机选取一个坐标位置作为中心点，然后利用mask以及图像操作进行贴图；S13、模拟物品运动的过程，使用max_frame_num表示一张背景图上总共生成多少帧数据，然后在max_frame_num范围内随机生成stop和static，再根据随机生成的每帧偏移的像素进行移动，运动过程中记录好目标初始运动位置init_boxs以及目标停留位置static_boxs；S14、在目标移动和停留的一段帧数内标注丢失和遗留；S15、将当前处理的RGB图片转化为灰度图，快、慢背景用第一帧已经贴上分割目标的背景图初始化，然后按照更新系数的比例更新背景，之后将当前帧、快、慢背景融合为一个三通道图片进行保存；S16、循环list中每个背景图重复步骤S11至S15，最终生成的数据集总计六十多万张图片和对应的标注文件，标注中包含两个类别遗留和丢失以及目标矩形位置；S2、检测模型训练与测试S21、选择yolov5框架作为模型训练主体，并对网络层结构进行裁剪和修改，将原有yolov5网络深度改为原来的两倍，网络宽度改为原来的一半，加入repvgg模块替换设备端不支持的激活层SiLU为可支持的LeakyReLU；S22、将生成的数据集按8:1比例划分为训练集和验证集，修改网络和数据集配置文件，目标检测类别为遗留和丢失，使用服务器多GPU训练300个epoch；S23、构建一个测试集，收集发生物品遗留丢失的视频，使用和生成数据集一样的方式和参数，将原始视频逐帧转换为当前帧和快、慢背景的三通道融合图像，模型训练好后使用该测试集进行测试，根据测试效果调整生成数据集中的参数，之后重新生成数据集再训练，如此反复迭代，不断提升模型检测效果，最终找到一个合适的数据集生成参数组合，得到了一个效果达到预期的物品遗留丢失的检测模型；S3、设备端应用S31、从摄像头视频流中获取当前帧yuv图片，将其缩放到模型所需输入尺寸，再转换为灰度图并转换为float类型；S32、更新快、慢背景，第一帧快、慢背景直接用当前帧灰度图初始化，之后根据快、慢背景根据更新系数进行更新，再将当前帧和快、慢背景融合为三通道图片并转换为uint8类型；S33、输入板端模型进行推演，通过后处理得到检测结果包含目标坐标、类别以及置信度；S34、依据人为设置的参数进行条件过滤，将检测结果中置信度低于设置阈值以及目标中心点坐标不在规则区域内的目标过滤掉；S35、根据结果中类别是否有遗留、丢失发出相应的告警，如果都没有则表示是正常状态。

全文数据：

权利要求：

百度查询： 珠海安联锐视科技股份有限公司 一种基于深度学习的融合双背景物品遗留丢失检测方法