买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：安徽农业大学

摘要：本发明公开了一种整株豆荚识别模型构建与训练方法及系统，属于智能检测技术领域。包括单个豆荚提取与类别匹配、虚拟离体和整株豆荚数据集生成和豆荚识别模型构建与训练。标注获得离体和整株豆荚图像数据集，从离体豆荚训练集中提取单个豆荚并利用其生成虚拟离体和整株豆荚数据集，搭建豆荚识别模型，并使用多阶段迁移学习方法采用虚拟和真实豆荚数据集通过从离体到整株豆荚数据的训练来获得整株豆荚识别模型。本发明较于现有技术，优点在于：生成的虚拟数据集能够丰富豆荚特征，显著减少豆荚标注工作量，并避免重叠遮挡场景下豆荚标注困难等问题；提出的整株豆荚识别模型具有较强的特征提取能力，提升了复杂场景下豆荚识别精度。

主权项：1.一种整株豆荚识别模型构建与训练方法，包括如下步骤，单个豆荚提取与类别匹配：从真实离体豆荚训练集中提取不同类别的单个豆荚图片；虚拟离体豆荚数据集生成：将提取得到的不同类别豆荚通过虚拟离体豆荚数据集构建算法进行虚拟离体豆荚数据集的生成；虚拟整株豆荚数据集生成：将提取得到的不同类别豆荚通过虚拟整株豆荚数据集构建算法进行虚拟整株豆荚数据集的生成；豆荚识别模型构建与训练：搭建豆荚识别模型，并通过从离体到整株豆荚数据的训练来获得整株豆荚识别模型；其中，虚拟离体豆荚数据集生成步骤具体为：S21：将提取到的含有图片数量较少的类别豆荚图片进行增广来均衡各类别豆荚图片的数量，增广按照倍数复制的方式将含有图片数量较少的类别豆荚图片数量增加至含有最多图片的类别豆荚图片的数量；S22：读取一张放有黑色幕布的背景图；S23：从增广后的图片集合中随机抽取指定个数的豆荚图片，组成待放置豆荚图片集合，抽取到的豆荚将从增广后的图片集合中移除；S24：读取待放置豆荚图片集合中的一张图片，将图片进行随机旋转，并对图片进行灰度化和二值化后通过轮廓点检测提取豆荚轮廓点，读取的图片将从待放置豆荚图片集合中移除；S25：计算豆荚可放置的坐标范围以及随机放置后的偏移量；S26：基于随机放置后的位置，控制豆荚的重叠程度；S27：确定保留该豆荚后，将豆荚轮廓点区域内的像素坐标加上偏移量，达到在背景图中随机放置的效果，记录豆荚最小外接矩形的中心点、长和宽，以及豆荚随机旋转的角度；检查所有选中的豆荚图片是否被遍历，若否，则从S24步骤开始重复操作，直到所有豆荚图片被遍历，生成一张离体豆荚图片以及对应的标注文件；检查所有增广图片是否被遍历，若否，则从S23步骤开始重复操作，直到所有增广图片被遍历，实现构建虚拟离体豆荚数据集；其中，虚拟整株豆荚数据集生成步骤具体为：S31：选择若干张无豆荚植株图片，并在植株上的豆荚生长节点处标注关键点信息；S32：将提取到的豆荚图片按照步骤S21同样的方式进行增广来均衡各类别豆荚图片的数量；S33：从标注好的无豆荚植株图片中随机挑选出一张图片，读取关键点的坐标信息，并根据人为设定的每个关键点待连接豆荚的数量与关键点数量相乘得到当前循环中从增广数据集随机抽取豆荚的数量，依据得到的抽取数量随机抽取豆荚，组成待连接豆荚图片集合；S34：从待连接豆荚图片集合中读取一张豆荚图片，对图片进行随机旋转，并对图片进行灰度化与二值化处理来提取豆荚轮廓点信息，根据豆荚轮廓点信息来获取最小外接矩形用于后续生成标注信息，读取的豆荚图片将从待连接豆荚图片集合中移除；S35：对旋转后的图片进行Shi-Tomasi角点检测，得到豆荚根部突出位置的坐标；S36：使用步骤S26中提出的豆荚重叠程度控制方法来控制重叠程度；S37：计算得到偏移量，将豆荚区域内像素坐标加上偏移量达到豆荚连接于植株关键点处的效果，记录豆荚最小外接矩形的中心点、长和宽，以及豆荚随机旋转的角度；检查所有选择的豆荚图片是否被遍历，若否，则从S34步骤开始重复操作，直到所有豆荚图片被遍历，生成一张整株豆荚图片以及对应的标注文件；检查所有增广图片是否被遍历，若否，则从S33步骤开始重复操作，直到所有增广图片被遍历，实现构建虚拟整株豆荚数据集；其中，豆荚识别模型构建与训练步骤具体为：S41：在YOLO系列目标检测模型的预测头部加入角度预测模块，采用环形平滑标签对角度标签进行预处理；S42：改进非极大值抑制部分，替换原有水平矩形框交并比计算为旋转矩形框交并比计算方法，旋转矩形框交并比计算方法如下： 其中：和为两个旋转矩形框，RIoU为旋转矩形框和的交并比；S43：使用MPDIoU损失作为目标检测模型的边界框回归损失；S44：构建自适应高效层聚合网络，并利用其与一系列卷积层和最大池化层组合来改进目标检测模型的主干网络，并将其加入目标检测模型的特征融合颈部；S45：构建自适应拼接层，利用其替换目标检测模型的特征融合颈部中的普通拼接层；S46：第一阶段迁移学习——加载改进的目标检测模型在MSCOCO数据集中训练得到的最优模型参数，并将虚拟离体豆荚数据集作为增广数据加入真实离体豆荚数据集中训练改进的目标检测模型,至模型收敛，保存最优模型参数；S47：第二阶段迁移学习——加载第一阶段得到的模型参数，使用构建的虚拟整株豆荚数据集微调改进的目标检测模型，至模型收敛，得到最优模型参数；S48：第三阶段迁移学习——加载第二阶段得到的模型参数，使用真实的整株豆荚数据集微调改进的目标检测模型，至模型收敛，得到最终的整株豆荚识别模型；其中，构建自适应高效层聚合网络方法如下：利用卷积层C1和卷积层C2对输入特征图进行操作，分别生成特征图F0和F1；卷积层C3和卷积层C4依次处理经过卷积层C2得到的特征图，生成特征图F2和F3；将这些特征图F0、F1、F2和F3按特征图通道所在维度逐元素相加，并进行全局平均池化、全连接和Softmax操作，生成张量T1；将特征图F0、F1、F2和F3与张量T1逐元素相乘，并按通道所在维度拼接形成特征图F4，最终，利用卷积层C5对特征图F4进行处理，得到输出特征图F5；其中，构建自适应拼接层的方法如下：输入两个特征图F1和F2，将其按特征图通道所在维度逐元素相加，随之进行全局平均池化、全连接以及Softmax操作，生成张量T1，将特征图F1和F2与张量T1逐元素相乘，并按通道所在维度拼接得到输出特征图F3。

全文数据：

权利要求：

百度查询： 安徽农业大学 一种整株豆荚识别模型构建与训练方法及系统