买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国地质大学(武汉)

摘要：本申请提供了一种斑马鱼求偶行为智能识别方法，涉及计算机视觉与生物学的融合领域，包括：通过初始红外视频对关节点检测神经网络进行训练；获取待识别红外视频；对待识别红外视频进行预处理，生成灰白特征图像；通过训练后的关节点检测神经网络识别灰白特征图像的关节点与标注框；通过异常帧排除方法以及关节点检测神经网络，来滤除识别过程中漏检与误检的灰白特征图像的关节点与标注框，得到第二关节点预测值并进行组合，生成时间序列信号，以热图方式呈现时间序列信号；通过时空检测神经网络对待识别红外视频的热图进行分类，最终实现对待识别红外视频的求偶行为的分类。通过网络模型以及异常帧排除方法过滤漏检与误检情况，提高检测准确度。

主权项：1.一种斑马鱼求偶行为智能识别方法，其特征在于，方法包括以下步骤：S1：获取初始红外视频并进行处理，得到斑马鱼训练图像；对斑马鱼训练图像进行标注；S2：将标注后的斑马鱼训练图像输入到关节点检测神经网络进行训练，调整关节点检测神经网络的参数；S3：对初始红外视频进行标注得到求偶行为的时间段，确定发生求偶行为的行为视频；通过行为视频，训练时空检测神经网络的参数；S4：获取待识别红外视频；对待识别红外视频进行预处理，生成灰白特征图像；通过训练后的关节点检测神经网络识别灰白特征图像的关节点与标注框；步骤S4的具体步骤如下：S41：从待识别红外视频中的每一帧斑马鱼待识别图像中选定需要识别的目标区域，手工在目标区域中画框裁剪出斑马鱼运动的有效图像区域；创建背景减除器；利用OPENCV库对有效图像区域对应的待识别红外视频进行抽帧，将抽出的帧图像输入到背景减除器中，以获取前景掩码；对前景掩码进行开运算；使用2x2卷积核对前景掩码进行卷积；S42：创建与帧图像大小相同的灰白前景图；通过反掩码以及灰白前景图，获取非掩码背景图；使用卷积后的前景掩码从帧图像提取仅含斑马鱼的原图图像；将非掩码背景图与原图图像进行组合，得到仅含斑马鱼的灰白特征图像；对灰白特征图像的掩码区域进行特征增强；特征增强包括：亮度增强与对比度增强；S43：利用关节点检测神经网络识别特征增强后的灰白特征图像的关节点与标注框；S5：通过异常帧排除的方法以及关节点检测神经网络，来滤除识别过程中漏检与误检的灰白特征图像的关节点与标注框，得到第二关节点预测值；步骤S5包括：S51：设鱼缸内的斑马鱼数量为N；S52：在关节点检测神经网络识别过程中，当存在漏检时，斑马鱼检测数量为N-1，则返回上一时刻的关节点；由于两条鱼发生颤抖或碰腹的现象，表现为重叠与交叉，而导致误检；当存在误检时，斑马鱼检测数量为N+1；将识别的灰白特征图像的一个关节点设定为质心关节点；S53：利用匈牙利算法匹配当前帧的图像与上一帧的图像中斑马鱼的质心关节点，删除误检的标注框与关节点；S54：通过卡尔曼滤波器对灰白特征图像进行滤波，将卡尔曼滤波预测的结果作为当前帧的灰白特征图像的第二关节点预测值；S6：将每帧的第二关节点预测值进行组合，生成时间序列信号，以热图方式呈现时间序列信号；通过训练后的时空检测神经网络的全连接层对待识别红外视频的热图进行分类；通过视频标注软件可视化待识别红外视频中的斑马鱼的行为分类结果，最终实现对待识别红外视频的求偶行为的分类。

全文数据：

权利要求：

百度查询： 中国地质大学(武汉) 一种斑马鱼求偶行为智能识别方法、设备及介质