买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：广州引力科视电子设备有限公司

摘要：本发明公开了一种智能路牌识别车载摄像头系统，包括路牌识别管理系统模块、路牌数据采集模块、路牌识别模型模块、路牌检测模块、语义分割模块、文字识别模块和路牌识别播报模块，其中：所述路牌识别模型模块，由两个卷积神经网络RetinaNet串联组成，使用对抗网络BigGAN，生成黑天路牌对抗样本，增强对黑天路牌识别；本发明针对车载摄像头识别准确率问题，通过采用RetinaNet双重网络对图像进行识别，融合特征金字塔模型，对白天和黑天进行特征处理，使用对抗网络BigGAN生成对抗黑天路牌样本数据提高黑天识别效果，采用小目标检测FSSD算法及无锚框识别策略进行路牌框位置检测，同时RetinaNet采用全卷积网络，去掉全连接层，因此识别路牌速度非常快，黑天识别路牌的精准度非常高。

主权项：1.一种智能路牌识别车载摄像头系统，其特征在于，包括路牌识别管理系统模块1、路牌数据采集模块2、数据存储模块3、路牌识别模型模块4、路牌检测模块5、语义分割模块6、文字识别模块7和路牌播报模块8，所述路牌识别模型模块4使用数据存储模块3的数据进行模型构建及迭代优化，所述路牌检测模块5、语义分割模块6、文字识别模块7用于实现路牌识别模型模块4的业务功能，所述路牌检测模块5识别路牌框的结果用于所述语义分割模块6再处理，所述语义分割模块6的处理结果用于文字识别模块7进行文字识别，所述文字识别模块7识别的路牌文字用于路牌播报模块8进行播报；所述路牌识别管理系统模块1，用于管理系统各模块业务、数据和通信的调度；所述路牌数据采集模块2，用于使用车载摄像头采集路牌信息并且生成视频数据及路牌数据集样本；所述数据存储模块3，用于存储所述路牌数据采集模块2所采集的数据；所述路牌识别模型模块4，通过采集的数据训练出两个RetinaNet网络模型，所述RetinaNet网络模型被划分为双特征提取网络DenseNet、特征金字塔和日夜分类回归网络，所述RetinaNet网络模型用于对所述路牌数据集进行训练及优化识别，使用对抗网络BigGAN，生成黑天路牌对抗样本图像，增强对黑天路牌识别，训练及优化后的路牌识别模型，用于实时白天和黑天的路牌智能化识别；所述路牌检测模块5，采用小目标检测FSSD算法及无锚框识别策略进行路牌框位置检测，用于对白天和黑天的路牌图像进行路牌框位置的检测；所述语义分割模块6，用于对所述路牌框位置内的图像进行再处理；所述文字识别模块7，用于对所述路牌框位置内的文字识别处理，提取所述路牌框位置内的文字；所述路牌播报模块8，用于对所述文字识别模块7的识别结果进行播报，通过车载摄像头实时播报路牌信息给驾驶员；所述数据存储模块3包括分布式存储单元31、数据备份单元32和数据恢复单元33；所述分布式存储单元31，用于对数据库进行分布式存储，存储于多台服务器上，保证数据的安全和可靠；所述数据备份单元32，用于定期对数据进行备份，防止数据丢失；所述数据恢复单元33，用于在数据丢失或损坏时，能够快速恢复数据；所述路牌数据采集模块2，通过车载摄像头采集的路牌视频数据被保存于所述数据存储模块3,所述视频数据一部分用于路牌识别模型的训练集数据，一部分用于测试集数据；所述车载摄像头还具有语音播报功能；所述路牌检测模块5，用于识别图像中路牌的边框位置的流程为：S101：通过车载摄像头获取白天和黑天的路牌图像数据，一部分用于测试集，一部分用于训练集，通过所述训练集训练出两个RetinaNet网络模型，所述RetinaNet网络模型的特征采集网络为DenseNet，训练后得到的两个网络模型分别记为DenseNet-A和DenseNet-B；S102：将所述S101的RetinaNet网络模型划分为双特征提取网络DenseNet、特征金字塔和日夜分类回归网络，采用所述双特征提取网络DenseNet提取白天和黑天路牌图像的特征，将所述特征金字塔串联到所述双特征提取网络DenseNet，对所述特征金字塔每一层进行卷积，并通过所述日夜分类回归网络进行分类和回归；S103：使用所述测试集对所述双特征提取网络DenseNet进行网络迭代测试，并且输出检测结果；S104：判断检测结果是否包含路牌区域位置框，若是，判断路牌区域位置框内容是否为文本；所述双特征提取网络DenseNet的具体搭建步骤为：M1：针对训练集数据的图像进行均值像素判断，设定阈值，若均值像素大于阈值，表示黑天，采用DenseNet-A处理，否则表示白天，采用DenseNet-B处理，若判断当前输入的训练集数据图像为黑天，构建黑天路牌图像对抗网络BigGAN；M2：使用对抗网络BigGAN对所述黑天路牌图像生成黑天路牌图像训练集样本；M3：将生成的黑天路牌图像训练集样本加入数据存储模块3，用于训练集数据和测试集数据；针对白天和黑天路牌特征处理流程为：所述特征采集网络采用双特征提取网络DenseNet的网络框架，分别提取白天和黑天的路牌特征，将第二层的白天和黑天的路牌卷积层的特征图先进行基于通道上的叠加，再通过2×2卷积进行降维处理，同样操作在第三层卷积层、第四层卷积层、第五层卷积层和第六层卷积层上执行；所述使用对抗网络BigGAN对所述黑天路牌图像生成黑天路牌图像训练集样本的具体过程为：依照当前训练给定的黑天路牌图像原图，生成对抗性的黑天路牌图像样本，所述对抗性的黑天路牌图像样本规格为：路牌框的大小多样化特征、路牌框所在路牌图像的位置不固定化特征和路牌框内文字大小多样化特征，输入1张给定黑天路牌图像原图，通过对抗网络BigGAN添加扰动因子，生成100张黑天路牌样本图；将所述特征金字塔串联到所述双特征提取网络DenseNet具体过程为：对第三层卷积层，即白天的路牌和黑天的路牌融合的特征图进行采样，再与第二层卷积层的白天和黑天的路牌融合的特征图相叠加，得到金字塔的第一层，按此步骤继续对第四层卷积层、第五层卷积层和第六层卷积层执行，每相邻两层特征图进行通道上的叠加，便可得到金字塔的其中一层，最终一共得到四层特征金字塔，所述金字塔四层具体处理过程为：金字塔第一层，用于处理第一分辨率图像，且图像的光照强度属于第一等级光照；金字塔第二层，用于处理第二分辨率图像，且图像的光照强度属于第二等级光照；金字塔第三层，用于处理第三分辨率图像，且图像的光照强度属于第三等级光照；金字塔第四层，用于处理第四分辨率图像，且图像的光照强度属于第四等级光照；所述图像的分辨率等级具体划分为：第一分辨率图像：w320，h320；第二分辨率图像：320w≤640，320h≤640；第三分辨率图像：640w≤1080，640h≤1080；第四分辨率图像：1080w，1080h，其中w表示图像的宽，h表示图像的高；所述图像的光照强度采用直方图计算图像的平均亮度方法，具体划分为：第一等级光照：0≤L≤50；第二等级光照：50L≤100；第三等级光照：100L≤180；第四等级光照：180L≤255，其中L表示图像的平均亮度值；所述日夜分类回归网络具体实现步骤为：所述金字塔每一融合层特征图后面加入两分支网络，一分支用来分类，一分支用来回归，且每一分支先对特征图进行4次卷积，分别增强白天和黑天的图像特征，且卷积核大小为2×2，个数为128；所述S102还包括使用一种无锚框方法，用于检测路牌图像上的路牌框位置；所述无锚框方法具体实现为：所述日夜分类回归的是路牌图像上的左上和中心点的坐标,回归过程是对金字塔每一层特征图进行逐像素扫描，每个像素都会回归出8维向量，对应原图生成一个矩形的检测框，因此真实目标框周围会产生大量低质量预测框，为了抑制这些低质量预测框的出现，提出了一种约束损失函数，公式为： 若真实路牌标注框的中心点坐标实际预测框的左上点坐标：X1,Y2,中心点坐标：X2，Y2，其中A为一个中心损失函数；预测框中心点与真实标注框中心点距离越小，A越大，反之A越小；若输入到检测网络的图片尺寸为H*W，将坐标做归一化处理，统一除以输入尺寸，使得在0到1之间，则的取值范围：最终A取值范围所述分支被设在并行于分类分支的下面，该分支输出结果乘上分类得分即为分类总得分，得分小的预测框都会被非极大值抑制算法处理掉，剩余最高得分的为最终预测框位置。

全文数据：

权利要求：

百度查询： 广州引力科视电子设备有限公司 一种智能路牌识别车载摄像头系统