买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国地质大学(武汉)

摘要：本发明提供了一种斑马鱼求偶行为图像数据增强方法、设备及介质，涉及图像处理领域，方法包括：标注采集的初始红外图像的关节点以及手工轨迹；从初始红外图像确定用于训练和数据增强的第一图片；利用SAM分割大模型提取第一图片的前景掩码；对前景掩码进行反掩码并进行处理，得到新背景图；将第一图片的前景掩码进行中心化处理；通过输入轨迹生成数据方式或重叠交叉生成数据方式，生成仿射变换函数的函数值；根据仿射变换函数以及函数值对中心化的前景掩码与关节点进行仿射变换，得到变换后的雄鱼前景掩码与雌鱼前景掩码；将变换后的雄鱼前景掩码与雌鱼前景掩码进行组合，与新背景图叠加生成预设个数的数据增强后的新斑马鱼求偶行为图像。

主权项：1.一种斑马鱼求偶行为图像数据增强方法，其特征在于，方法包括以下步骤：S1：获取初始红外视频并进行隔定帧抽取，得到初始红外图像；标注初始红外图像的关节点以及初始红外图像中的斑马鱼的手工轨迹；S2：从初始红外图像选取特定帧，得到用于训练和数据增强的第一图片；S3：利用SAM分割大模型提取第一图片的前景掩码；对第一图片的前景掩码进行反掩码，得到反掩码背景图；步骤S3包括：设第一图片中的第l帧图像标注的两组关节点，如下： 其中，为的5个关节点；为的5个关节点；通过标注的两组关节点，利用SAM分割大模型，获取第帧图像的前景掩码和前景掩码；对前景掩码和前景掩码进行叠加，对叠加后的前景掩码区域的像素值赋值为0，生成第帧图像的反掩码图背景图；S4：将第一图片的前景掩码进行中心化处理；步骤S4包括：检索前景掩码的非0索引值，如下： 其中与分别表示行索引列表与列索引列表；表示前景掩码在图像中的像素坐标；对于前景掩码的最小行、最大行、最小列和最大列，如下： 计算第l帧图像的高度和宽度，如下： 计算将前景掩码移动到第l帧图像的中心所需的平移量，如下: 其中，表示列平移量；表示行平移量；第l帧图像的前景掩码中心化处理后的前景掩码表示为： 其中，表示中心化后的前景掩码在图像中的像素坐标；在前景掩码中，中心化后的关节点表示为： 其中，表示标注的关节点的坐标；S5：构建仿射变换函数；通过输入轨迹生成数据方式或重叠交叉生成数据方式，生成仿射变换函数的函数值；根据仿射变换函数以及函数值对中心化的前景掩码与关节点进行仿射变换，得到变换后的雄鱼前景掩码与雌鱼前景掩码；步骤S5包括：S51：仿射变换函数的仿射变换包括：位移、旋转以及尺度缩放，具体如下：定义中心化的前景掩码的位移矩阵，如下： 其中与分别表示前景掩码的位移的方向平移量和方向平移量；定义旋转与缩放变换矩阵，如下： 其中，为旋转角；表示缩放因子，和是图像中心的坐标，与分别表示旋转角的正弦值与余弦值；定义组合变化矩阵表示为：；通过组合变化矩阵对中心化后的前景掩码的每一个像素进行仿射变换，仿射变换后的前景掩码，如下： 其中，是仿射变换后前景掩码在输出图像中的像素坐标；将中心化的关节点坐标进行升维处理，如下： 其中和表示升维后的关节点的坐标值；通过组合变化矩阵对升维后的关节点坐标进行处理，得到仿射变换后的关节点坐标，如下： S52：构建仿射变换函数，表达式如下： S53：通过输入轨迹生成数据方式或重叠交叉生成数据方式，生成预设组数的函数值；所述函数值包括：旋转角、位移、尺度缩放；S54：将函数值输入仿射变换函数；通过仿射变换函数对中心化后的前景掩码与中心化后的关节点进行仿射变换，得到仿射变换后雄鱼前景掩码和雌鱼前景掩码；通过输入轨迹生成数据方式，生成预设组数的函数值的具体步骤包括：L1：对中心化后的斑马鱼的关节点与手工轨迹的各个轨迹点的坐标进行归一化处理，并将中心化后的前景掩码的朝向与沿手工轨迹的运动朝向对齐，具体如下：设斑马鱼的关节点1与斑马鱼的关节点2组成的向量，手工轨迹从出发点到出发后到达的第一个坐标组成的向量，计算向量a与向量b的夹角，计算公式表示为： 其中，表示向量的叉乘，表示向量的模；将夹角转换为角度制；使用点积和叉积的符号来判断夹角的正负，夹角与向量的叉积符号关系表示为：当时，方向与的方向相反；当时，方向与的方向相同；当时，方向与符号一致；夹角为正时，将中心化后的前景掩码通过仿射变换函数沿顺时针方进行旋转，当夹角为负时，则中心化后的前景掩码通过仿射变换函数沿逆时针方进行旋转，旋转的角度即为；中心化后的前景掩码的位移；尺度缩放保持不变；L2：重复步骤L1，得到预设组数的函数值；通过重叠交叉生成数据方式，生成预设组数的函数值的具体步骤包括：A1：通过函数，得到雄鱼前景掩码的位移、旋转角；以雄鱼前景掩码的位移与旋转角为基准值，设置正态分布方差，得到雌鱼前景掩码的位置与旋转角，表达式如下： 其中，函数为正态分布模拟函数；表示雄鱼前景掩码的尺度缩放，表示雌鱼前景掩码的尺度缩放，尺度缩放保持不变；表示正态分布的均值；表示两条斑马鱼之间的离散系数；A2：重复步骤A1，得到预设组数的函数值；S6：对反掩码背景图进行处理，得到新背景图；S7：将变换后的雄鱼前景掩码与雌鱼前景掩码进行组合，与新背景图叠加生成预设个数的数据增强后的新斑马鱼求偶行为图像。

全文数据：

权利要求：

百度查询： 中国地质大学(武汉) 一种斑马鱼求偶行为图像数据增强方法、设备及介质