买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南理工大学

摘要：本发明公开了一种基于路面语义分割和卷积神经网络的路面天气识别方法，该方法步骤如下：S1、构建语义分割网络；S2、路面二值化处理；S3、构建天气识别卷积神经网络；S4、训练语义分割网络和天气识别卷积神经网络；S5、实时采集高速公路图片，输入语义分割网络和天气识别卷积神经网络，输出图片对应天气类型。本发明通过提取图片路面区域并同时学习整体图片和路面区域特征，综合了整体图片的全局特征和路面区域的局部特征，提供了一种高效的高速公路路面场景的天气识别方法。

主权项：1.一种基于路面语义分割和卷积神经网络的路面天气识别方法，其特征在于，所述路面天气识别方法包括以下步骤：S1、构建语义分割网络，其中，所述语义分割网络包括用于特征提取和下采样的编码器和用于融合编码器多尺度特征和上采样的解码器，所述编码器采用ResNet18卷积神经网络，所述解码器采用PPM金字塔池化卷积神经网络，输入原始图像P，语义分割网络输出与原始图像P相同尺寸、每个像素点值等于原始图像P语义标签的语义图像S；所述编码器采用ResNet18网络，包括一个7×7卷积层、一个步长为2的最大池化层、4个残差层，其中，每个残差层由2个残差块组成，每个残差块是跳跃连接结构的两个3×3卷积层；所述解码器采用PPM金字塔池化网络，PPM金字塔池化网络对编码器输出的特征图分别进行4次不同尺度的池化操作，4次池化操作的尺寸分别为[1×1，2×2，3×3，6×6]，然后采用双线性插值上采样至与输入图像尺寸相同，并在通道维度上进行拼接，最后依次输入一层卷积核为3×3、填充数为1的卷积层和一层卷积核为1×1、输出通道数为标签类别数的卷积层；S2、对语义图像S进行路面二值化处理，只保留语义图像S中语义标签为路面的部分，输出路面二值图像R；S3、构建天气识别卷积神经网络，天气识别卷积神经网络的输入为原始图像P和路面二值图像R，天气识别卷积神经网络包括处理全局图像特征的全局分支、处理图像路面部分特征的路面分支以及合并全局分支特征和路面分支特征并分类的分类部分；所述天气识别卷积神经网络包括全局分支、路面分支和分类部分，其中，全局分支的输入为原始图像P，采用ResNet18网络，包括一个7×7卷积层Conv1、一个步长为2的最大池化层Max_Pool、4个残差层，4个残差层分别为Conv2、Conv3、Conv4、Conv5，均是由2个使用跳跃连接结构的2个3×3卷积层构成，全局分支用于对输入的原始图像P进行全局特征提取；路面分支的输入为特征图F′,特征图F′由路面二值图像R和全局分支的Conv3层输出的特征图F得到，首先获取全局分支中Conv3层输出的特征图F，公式如下：F＝Conv3Conv2Max_Poo1Conv1P其次通过Conv3层输出的特征图和路面二值图像进行掩码操作，得到Conv3层仅关于路面部分的特征图F′，公式如下：F′＝F☉Dowm_SamplingR其中，⊙为元素积，Down_Samplng为双线性插值下采样操作，使路面二值图像R的尺寸与特征图F的尺寸一致，特征图F′用于对路面部分更加抽象的特征学习，路面分支的网络结构为2个使用跳跃连接结构的2个3×3卷积层；分类部分用于融合全局分支和路面分支的特征，对全局分支和路面分支输出的特征图分别进行全局平均池化，输出512维特征向量和256维特征向量，然后两者拼接组成768维特征向量并输入全连接层fc；S4、设计损失函数对语义分割网络和天气识别卷积神经网络进行训练，首先对语义分割网络进行训练，随后通过训练好的语义分割网络获得路面二值图像R，将原始图像P和路面二值图像R输入天气识别卷积神经网络进行训练；S5、实时采集高速公路监控图像P′，将高速公路监控图像P′输入经过训练的语义分割网络得到语义图像S′，并经路面二值化操作获得路面二值图像R′，将高速公路监控图像P′和路面二值图像R′，输入经过训练的天气识别卷积神经网络，识别得到图像对应的天气类型。

全文数据：

权利要求：

百度查询： 华南理工大学 基于路面语义分割和卷积神经网络的路面天气识别方法