买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：成都星亿年智慧科技有限公司

摘要：本发明公开了一种细粒度昆虫图像分类方法，采集不同种类昆虫的不同形态的细粒度图片，经过人工筛选方式删除重复、模糊、过曝的低质量图片，使剩余的图片满足类内差异大、类间差异小的特点，然后建立图片标签并增强处理；搭建用于昆虫分类的神经网络模型并训练，最后通过训练完成的神经网络模型对待检测的细粒度昆虫图片进行分类检测，从而直接输出图片中昆虫属于类别。

主权项：1.一种细粒度昆虫图像分类方法，其特征在于，包括以下步骤：1、图像采集及预处理；采集不同种类昆虫的不同形态的细粒度图片，经过人工筛选方式删除重复、模糊、过曝的低质量图片，使剩余的图片满足类内差异大、类间差异小的特点；2、建立图片标签；将每一张图片打上三层的类别标签，记为y1，y2，y3，三层类别标签之间存在树状的映射关系；其中，第一层类别标签y1表示昆虫的“目”，第二层类别标签y2表示同一目下视觉特征相近的昆虫类别，第三层类别标签y3表示昆虫的细粒度类别；3、图片增强处理；3.1、图片缩放：将每一张图片的长宽经双线性插值方法采样至固定像素大小；3.2、图片随机旋转：设置旋转因子factor；在[-factor，factor]内随机采样一个值作为图片的旋转角度并控制图片旋转，其中，当旋转角度不为90°或180°时，利用黑色对旋转操作时留下的无像素区域进行填充；3.3、图片随机水平或竖直翻转：设置概率因子p；在[0，1]内随机产生一个概率值，如果概率值小于p，则对图片进行随机水平或竖直翻转操作，否则，图片不翻转；3.4、图片随机裁剪：先将图片放大至原始图片的1.25倍，然后在放大后的图片中随机裁剪一个大小为网络输入尺寸的区域；3.5、图片的颜色抖动处理；3.5.1、设置抖动因子Factor；3.5.2、增强图片的亮度：在max0，1-Factor～1+Factor之间随机产生一个数值s作为亮度的缩放因子，再将原始图片的亮度值bright乘以缩放因子s，得到增强后的亮度值 3.5.3、增强图片的对比度：在max0，1-Factor～1+Factor之间随机产生一个数值s作为对比度的缩放因子，再将原始图片的对比度contrast乘以缩放因子s，得到增强后的对比度值 3.5.4、增强图片的饱和度：在max0，1-Factor～1+Factor之间随机产生一个数值s作为饱和度的缩放因子，再将原始图片的饱和度saturation乘以缩放因子s，得到增强后的饱和度值 3.5.5、通过标签控制增强图片的色相：初始化一个类别集合s，当一类图片中含有通过拍摄标本采集的图片时，将该类别加入集合中；对图片进行色相增强前，判断该图片所属类别是否属于集合s，若属于，则对图像做色相增强，若不属于，则不做增强；色相增强操作为：在max0，1-Factor～1+Factor之间随机产生一个数值s作为色相的偏移因子；对图片做色相增强前，再将原始图片的色相值hue按照偏移因子s在色相环上进行偏移操作，得到增强后的色相值 4、设置训练数据集，将增强后的图片及对应的标签设为训练数据集；5、搭建用于昆虫分类的神经网络模型；以现有的resnet50网络为基础模型，Resnet50整个特征提取部分被划分为5个stage，在stage3、stage4、stage5后各自添加一个通道注意力机制模块，通道注意力机制模块工作原理如下：每一个stage的输出特征I是一个c×w×h的三维矩阵，矩阵中的每个元素记为Ii，j，k，其中，i∈[1，c]，j∈[1，w]，k∈[1，h]，c为通道数，w、h为宽和高；通道注意力机制模块为输出特征I增加长度为c的注意力权重W，得到通道注意力机制的输出特征其各个元素的值记为其中，wi为权重系数；在经过stage5以及通道注意力机制模块之后，加入改进后的双线性池化层，具体工作原理如下：将输出特征展开为长度为c×w×h的二维向量，记为然后对进行双线性融合，得到最终的输出特征最后再将输出特征展开为长度为c×c的一维向量，记为6、训练神经网络模型；将增强后的图片及对应的标签输入至神经网络模型，神经网络模型预测出输入图片中对应昆虫的类别6.1、在训练数据集中，从随机挑选b张图片及对应的标签作为本轮训练的输入，并输入至训练神经网络模型；6.2、通过神经网络模型提取出b张图片的输出特征其中，每张图片的输出特征是一个长度为c×c的一维向量；6.3、将将每张图片的输出特征通过全连接层进行降维处理，得到各个图片的分类判别结果pi，其中，分类判别结果pi是一个一维矩阵，长度为训练数据集中昆虫种类个数M，分类判别结果中每一项为网络判定为对应种类昆虫的概率，最后将概率最大者作为预测结果，记为并根据得到对应的6.4、计算本轮训练完成后的损失函数值L； 其中，β1为超参数，通过几组对比实验取值为0.5，为输出特征中第三级标签对应的损失函数值，为输出特征中第二级标签对应的损失函数值，LCE为分类判别结果对应的损失函数值； 其中，表示在本次训练的b张输入图片中，当任意两张图片i与j的三级标签相同时为1，否则为0，Δ为预设的阈值；p为输出特征的维度，p∈[1，c×c]； 其中，λi表示第i张输入图片所属类别的图片个数在本轮b张输入图片中的占比；yiτ为判别系数，当第i张输入图片的真实标签值等于τ时yiτ为1，否则为0；piτ的值为分类判别结果pi中第τ个元素的值；6.5、本轮训练完成后，通过梯度下降法对本轮损失函数值进行反向传播，从而更新网络参数，然后再返回步骤6.1进行下一轮的训练，直至网络收敛，从而得到训练完成的神经网络模型；6、昆虫图片的实时分类；将待检测的细粒度昆虫图片，经过图片缩放操作缩放至与训练数据相同的尺寸，输入至训练完成的神经网络，从而直接输出图片中昆虫属于类别。

全文数据：

权利要求：

百度查询： 成都星亿年智慧科技有限公司 一种细粒度昆虫图像分类方法