买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：贵州大学;贵州慧控农耀科技有限公司

摘要：本发明公开了一种基于多模态图像融合的杂草侵扰率预测方法，属于人工智能辅助精准农业检测技术领域，通过融合多模态图像，增加图像的信息量从而提高融合图像的质量。并基于融合图进行植被分割和杂草侵扰率预测。本发明由图像配准，图像融合，植被分割和杂草侵扰率预测四个模块组成。在图像配准和图像融合阶段，主要使用卷积进行特征提取和局部的细粒度对齐。而在杂草侵扰率预测模块，依赖于多层感知机良好的全局计算力，并结合多种注意力模块进行侵扰率的回归预测。本发明提出的一种基于多模态图像融合的杂草侵扰率预测方法，能重构出高质量的融合图像，并得到高精度的杂草侵扰率预测结果。

主权项：1.一种基于多模态图像融合的杂草侵扰率预测方法，其特征在于，包括以下步骤：步骤1、读入未对齐的RGB图像和红外图像进行图像转换和图像匹配，生成基于RGB图像的伪红外图像和红外配准图像；步骤2、对步骤1生成的红外配准图像和未对齐的RGB图像进行多模态图像融合，获得融合图像；步骤3、根据步骤2得到融合图像，进行植被分割，得到二值化的植被mask图像；步骤4、进行杂草侵扰率预测，获得最终预测的杂草侵扰率；步骤1的具体过程如下：S11、将未对齐的RGB图像和红外图像成对的输入到CycleGAN中，经由两个生成器和两个判别器，CycleGAN使用风格迁移损失函数和感知损失函数进行训练，学习跨模态图像的模态差异，最后输出RGB图像经过模态转变为红外的伪红外图像；S12、把伪红外图像和与之匹配的红外图像一起输入到特征对齐模块，特征对齐模块使用双向相似性损失函数衡量伪红外图像和红外图像之间的相似性，然后更新红外图像的形变场变量，对更新红外图像的形变场变量进行整合得到红外配准图像；其中，风格迁移损失函数和感知损失函数的具体表达式如下： ； ；式中，表示表示第j层的特征表达，表示对第j层特征使用Gram矩阵计算；双向相似性损失函数的具体表达式如下： ；式中，是一个超参数，表示形变场的反向表达；步骤2的具体过程如下：S21、接收S12中得到红外配准图像和S11中未对齐的RGB图像，使用参数共享的密集卷积模块进行特征提取，得到红外图像的特征和未对齐的RGB图像的特征；S22、根据S21中提取到的特征，计算RGB图像与红外图像融合的权重参数，得到最后的融合图像，并使用融合图像分别与RGB图像和红外配准图像的对比结果的和为MS-SSIM损失函数衡量融合图像的质量，其中MS-SSIM损失函数的具体表达式如下： ；步骤3的具体过程如下：S31、将未处理的RGB图像进行YCbCr空间映射，分离出Y、Cb与Cr通道，使用融合图像的信息替换分离出来的Y通道，然后把分离的三通道数据重新堆叠在一起重新映射到RGB空间，重构出新的融合RGB图像；S32、使用归一化植被指数NDVI对重构出新的融合RGB图像进行植被分割，具体表达式如下： ；其中，表示近红外波段，表示红色波段；RGB图像与红外图像融合的权重参数计算和具体融合过程的表达式如下： ； ； ；式中，表示经过融合权重处理后的对齐红外图像特征，表示未经过任何处理的RGB图像特征，表示经过融合权重处理后的对齐红外图像特征和未经过任何处理的RGB图像特征的和，表示红外图像的融合权重，表示点积，表示叠加；步骤4的具体过程如下：S41、将经过融合权重处理后的对齐红外图像特征和未经过任何处理的RGB图像特征经过细粒度多层感知机的处理，获得经过细粒度多层感知机处理的高级特征表达；S42、将获得的经过细粒度多层感知机处理的高级特征表达通过分水岭算法进行分割获得若干个子区域，通过基于多层感知机的回归器对每个子区域的杂草面积进行计算，将每个子区域的像素点和与全局像素点进行对比，得到预测的杂草侵扰率，最后通过监督损失函数对预测的杂草侵扰率进行准确性验证。

全文数据：

权利要求：

百度查询： 贵州大学 贵州慧控农耀科技有限公司 一种基于多模态图像融合的杂草侵扰率预测方法