买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：一种基于多视角信息融合的图像分类方法，属于计算机视觉领域，具有全面学习全局图像信息和局部花粉颗粒区域信息的效果，比以往只考虑全局图像信息更加准确。本发明在关注全局图像信息的基础上，更针对性地关注局部花粉颗粒区域信息，所用网络包含两个深度学习流，对应于花粉图像的不同层次和结构水平。首先是基于全局图像信息流进行的分类，在全局图像结构上直接对花粉进行分类；其次是基于局部花粉颗粒区域信息流进行的分类，在此流中加入分割指导网络，从整个花粉图像对花粉颗粒定位，保留花粉颗粒区域图片，在局部区域图像水平上检测花粉类别；最后，将全局图像分类结果和局部花粉颗粒区域分类结果进行融合，得到最终分类结果。

主权项：1.一种基于多视角信息融合的图像分类方法，其特征在于：S1：图像预处理；对机器扫描得到的花粉图像进行格式转换和裁剪得到符合模型输入的图片；S2：设计基于全局花粉图像信息的分类器；将经过步骤S1生成的图片调整好大小输出到分类模型中进行图像的特征提取，然后输出全局花粉图像结构水平上的分类结果及概率；S3：设计基于局部花粉颗粒区域信息的分类器；将经过步骤S1得到的图片进行训练，输出局部花粉颗粒区域图像结构水平上的分类结果及概率；S31：设计局部定位器；引入分割指导网络，对全局图像中的花粉颗粒区域进行定位，生成花粉区域定位图；然后根据此定位图，去除图像冗余信息，得到局部花粉颗粒区域细粒度图像；S32：设计局部区域分类器；根据步骤S31生成的花粉颗粒区域图像构建分类网络，训练模型，提取图像特征，输出分类结果及概率；S4：设计全局-局部花粉信息融合器；对基于全局信息花粉图像分类结果和概率以及基于局部信息花粉图像分类结果和概率这两部分信息通过计算权重进行融合生成最终的花粉图像分类结果；S41：计算全局图像信息权重；S42：计算局部花粉颗粒区域信息权重；S43：计算花粉最终分类结果；具体如下：S1：图像预处理对花粉图像预处理包括图像格式转换和图像裁剪两个步骤；图像格式转换将数字切片扫描仪扫描得到的多层图片转换成为单层图片；图像裁剪指将上一步骤得到的单层图片裁剪成大小为224×224模型输入的图片；S2：设计基于全局花粉图像信息分类器计算基于全局花粉图像信息的图片分类结果，在图像水平上表示全局花粉图像结构，并直接对花粉图像进行分类，输入为S1获取的花粉图片，输出为基于全局信息的图像分类结果及概率；采用基于经典的CNN网络作为全局信息分类器的网络架构；将步骤S1获取的图像重新调整为224×224大小作为网络模型的输入；此网络由5个下采样组成，每个下采样用卷积核3×3的、步幅为2的卷积层对花粉图像进行特征抽取；其次是一个全局最大池化层降低模型的过拟合概率，提升对花粉颗粒特征提取的鲁棒性；然后是一个全连接层，融合模型学习到的花粉颗粒深度特征；最后是模型的分类器进行分类；最终输出基于全局信息的花粉图像分类结果及概率；S3：设计基于局部花粉颗粒区域信息分类器计算基于局部花粉颗粒区域信息图片的分类结果及概率，输入为S1获取的结果图片，经过分割指导网络和分类网络提取学习花粉颗粒的特征信息，输出为基于局部花粉颗粒区域信息的分类结果及概率；包含两大阶段；S31：局部区域定位器使用CNN网络定位花粉颗粒区域，网络分为编码器和解码器；每个编码器与一个滤波器组成卷积层，生成一组编码器特征映射，并以ReLU作为激活函数；解码器利用反卷积层输出解码器特征映射，跳跃连接将相应的特征映射从编码器路径中传输，并将它们连接到上采样的解码器特征映射上，最后分类器利用1×1的卷积层作为像素分类，生成花粉图像中花粉颗粒的概率分布,得到花粉颗粒区域的定位图；评估花粉颗粒分割的系数为： 其中N为像素数，pi∈[0,1]和ci∈{0,1}分别表示花粉颗粒区域的预测概率和二进制真实标签；根据上一过程生成的花粉颗粒定位图，去除花粉图像中冗余的背景信息，得到224×224的局部花粉颗粒区域细粒度图像，以更高的分辨率保存更详细花粉颗粒信息；S32：局部区域分类器基于经典的CNN网络，构建分类器网络结构来训练局部区域信息分类器，学习花粉颗粒图像特征，生成花粉图像分类结果及概率；采用卷积核3×3的、步幅为2的卷积层对花粉颗粒图像进行特征抽取，然后是一个全局平均池化层对整个网络在结构上做正则化防止过拟合，最后是softmax分类器进行分类，并使用ReLU做激活函数最终模型输出基于局部花粉颗粒区域信息的分类结果及概率；S4：设计全局-局部花粉信息融合器输入为基于全局信息花粉图像分类结果和概率以及基于局部信息花粉图像分类结果和概率，对这两部分信息通过计算权重对其进行融合生成最终的花粉图像分类结果；S41：计算全局图像信息权重根据步骤S3中获取的花粉颗粒定位图中花粉颗粒区域像素点和整张图片的像素点计算全局图像信息所占权重；计算全局图像信息所占权重的公式为： 其中，n表示花粉颗粒区域的像素点个数，N表示整张花粉图像的像素点个数；S42：计算局部花粉颗粒区域信息权重根据不同图片水平给予不同的控制力度，使得全局信息权重和局部信息权重之和为1；所以，局部得分权重为：W2＝1-W1S43：计算花粉最终分类结果P＝W1×pglobal+W2×plocal其中pglobal代表基于全局图像信息分类结果概率，plocal代表基于局部花粉颗粒区域信息的分类结果概率，P代表分类结果最终概率，根据最终概率P得到花粉图像的最终分类结果。

全文数据：

权利要求：

百度查询： 北京工业大学 一种基于多视角信息融合的图像分类方法