买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：吉林大学

摘要：本发明基于机器视觉雾天行车错失道路标志牌的预警系统及方法，属于智能车辆安全辅助驾驶技术领域。本发明通过道路交通标志牌识别分类器、道路交通标志牌字符分类识别神经元网络分类器、驾驶人疲劳模式分类器、有无雾图像分类器、图像去雾模型，构建实时道路标志识别预警策略。根据驾驶人视线注视轨迹、眨眼频率、PERCLOS值，如果判断驾驶人驾驶疲劳或者在驾驶过程中执行次任务导致错过交通标志信息，则车载扬声器发出实时标志牌信息的声音警告并在车载显示屏上显示警告的标志信息，同时如果判断为雾天，同样给予驾驶人提供视觉、听觉警告，实现了在雾天和驾驶人错失道路标志条件下，使驾驶人获取道路交通标志牌信息和行车安全预警。

主权项：1.一种基于机器视觉雾天行车错失道路标志牌的预警系统，其特征在于：包括电源1、变压插头Ⅰ2、红外摄像头Ⅰ3、变压插头Ⅱ4、车载电控单元模块5、图像分类模块6、图像去雾模块7、标志牌识别模块8、标志牌字符识别模块9、驾驶行为分类模块10、预警模块11、车载显示屏12、汽车音响设备13、车载扬声器14和红外摄像头Ⅱ15，所述电源1通过变压插头Ⅰ2与红外摄像头Ⅰ3连接，电源1通过变压插头Ⅱ4与红外摄像头Ⅱ15连接；所述车载电控单元模块5包括图像分类模块6、图像去雾模块7、标志牌识别模块8、标志牌字符识别模块9、驾驶行为分类模块10、预警模块11，所述图像分类模块6的一端通过导线与红外摄像头Ⅰ3连接，图像分类模块6的另一端通过导线与图像去雾模块7连接；所述图像去雾模块7通过导线与标志牌识别模块8连接；所述标志牌识别模块8通过导线与标志牌字符识别模块9连接；所述标志牌字符识别模块9通过导线与预警模块11连接；所述驾驶行为分类模块10的一端通过导线与红外摄像头Ⅱ15连接，驾驶行为分类模块10的另一端通过导线与预警模块11连接；所述车载显示屏12通过导线与预警模块11连接；所述汽车音响设备13的一端通过导线与预警模块11连接，汽车音响设备13的另一端通过导线与车载扬声器14连接。

全文数据：基于机器视觉雾天行车错失道路标志牌的预警系统及方法技术领域本发明主要涉及智能车辆安全辅助驾驶技术领域，特别涉及一种基于机器视觉雾天行车错失道路标志牌的预警系统及方法。背景技术交通标志为驾驶者提供道路状况和交通状况等信息，对减少道路交通事故的发生具有重要意义。据统计，每年由于未按照交通指示行驶的违法行为多达3000万起，驾驶人因未获取道路标识信息而造成的交通事故在全部交通事故数中占有相当大的比重，而且比重居高不下，其相当一部分原因是：由于驾驶人驾驶疲劳或者在驾驶过程中执行次任务，导致错过道路警示标志；夜间光线不佳、大雾天气导致能见度低，也会导致驾驶人错失道路信息，从而执行错误操作，引发事故。目前，虽然车载GPS车载导航系统在定位道路标志方面，发展得比较完善，但仍存在以下缺陷：如果导航系统未及时更新会出现导航错误、获取某些非结构化道路地区的信息，速度慢、精度低等缺陷。因此，亟待一种智能驾驶辅助系统，能够辅助驾驶人获取道路标志信息，提高行驶安全。目前，标志牌信息检测方法主要分为基于标志牌形状的检测方法、基于模板匹配的检测方法、基于GPS技术检测方法。其中，基于标志牌形状的检测方法存在检测效果低、实时性不佳等问题；基于模板匹配的检测方法，存在算法处理时间较长，识别率很低，得不到预期理想结果等缺点；基于GPS技术的检测方法，该方法在阴影和遮挡时，会产生较大误差。现有的交通标志牌识别方法中识别的标志种类有限，因此驾驶人获得信息有限，且应用到实际道路环境中的很少。本专利提出的基于机器视觉雾天行车错失道路标志牌的预警系统及方法，识别过程不会对驾驶人的正常驾驶行为造成干扰，克服因驾驶疲劳、在驾驶过程中执行次任务、夜间光线不佳以及大雾天气能见度低，导致驾驶人错过交通指示信息，而引发道路安全事故的发生。利用机器视觉融合图像去雾技术，实时获取道路指示信息，同时在判断驾驶人由于疲劳错失道路标志给予警示，使驾驶人在复杂道路环境下，明确道路环境特点，降低交通事故发生的概率，已经成为国内外研究热点。发明内容本发明所要解决的技术问题是：提供一种基于机器视觉雾天行车错失道路标志牌的预警系统及方法，用来解决驾驶人疲劳驾驶、在驾驶过程中执行次任务而错失道路标志或者由于夜间光线不佳以及大雾天气能见度低，导致驾驶人未了解道路交通环境信息，而引发道路交通事故的技术问题。本发明弥补了现有车载GPS导航系统在获取道路标志信息存在的以下缺陷：如果GPS导航系统未及时更新会出现导航错误、获取某些非结构化道路地区的信息速度慢、精度低等问题。本发明采用以下技术方案实现：一种基于机器视觉雾天行车错失道路标志牌的预警系统，其特征在于：包括电源、变压插头Ⅰ、红外摄像头Ⅰ、变压插头Ⅱ、车载电控单元模块、图像分类模块、图像去雾模块、标志牌识别模块、标志牌字符识别模块、驾驶行为分类模块、预警模块、车载显示屏、汽车音响设备、车载扬声器和红外摄像头Ⅱ，所述电源通过变压插头Ⅰ与红外摄像头Ⅰ连接，电源通过变压插头Ⅱ与红外摄像头Ⅱ连接；所述车载电控单元模块包括图像分类模块、图像去雾模块、标志牌识别模块、标志牌字符识别模块、驾驶行为分类模块、预警模块，所述图像分类模块的一端通过导线与红外摄像头Ⅰ连接，图像分类模块的另一端通过导线与图像去雾模块连接；所述图像去雾模块通过导线与标志牌识别模块连接；所述标志牌识别模块通过导线与标志牌字符识别模块连接；所述标志牌字符识别模块通过导线与预警模块连接；所述驾驶行为分类模块的一端通过导线与红外摄像头Ⅱ连接，驾驶行为分类模块的另一端通过导线与预警模块连接；所述车载显示屏通过导线与预警模块连接；所述汽车音响设备的一端通过导线与预警模块连接，汽车音响设备的另一端通过导线与车载扬声器连接。一种于机器视觉的车载道路标志牌识别及预警系统方法，其特征在于：包括以下步骤步骤一、建立道路交通标志牌识别系统A、建立道路交通标志牌高斯混合模型GMM分类器①红外摄像头采集N张有道路交通标志牌红外道路图像和无道路交通标志牌红外道路图像，并将采集到的图像传输到标志牌识别模块，其中包括N1张有道路交通标志牌红外道路图像和N2张无道路交通标志牌红外道路图像，N、N1、N2均为自然数，在标志牌识别模块中建立道路交通标志牌分类器的图像训练集；②对道路交通标志牌分类器的图像训练集中的图像进行二值化、倾斜校正以及缩放尺寸归一化处理，获得统一尺寸的道路交通标志牌分类器的图像训练库；③利用道路交通标志牌分类器的图像训练库离线训练高斯混合模型GMM分类器，高斯混合模型GMM分类器根据道路交通标志牌金属材质的纹理特征、面积特征、轮廓形状特征以及道路交通标志牌直方图特征，按照有无道路交通标志牌对采集的红外道路图像进行分类，获得有道路交通标志牌的图像特征，高斯混合模型GMM分类器建立完成；B、建立用于道路交通标志牌字符分类识别的神经元网络分类器①红外摄像头采集L张道路交通标志牌图像，L为自然数，对获得的道路交通标志牌图像进行直方图均衡化处理、阈值滤波器、查找轮廓算法对其中的字符进行分割，对分割的字符尺寸归一化处理，统一缩小其尺寸至32*16像素；②根据标志牌上的信息，建立汉字网络、字母网络、数字网络、图形符号网络对交通标志牌信息进行分类；利用汉字库CCLIB中的GB2312-80的全部6763个汉字和571个字符，建立交通标志牌的汉字、字母及数字点阵字符库；建立图形样本库，采集K张交通标志牌图像，K为自然数，提取其中的图形标志，根据交通标志牌的图形特点，提取其图形符号建立图形符号点阵图并存入图形样本库中；将汉字、字母及数字点阵字符库和图形样本库合并为标志牌信息识别库；③构建反向传播神经元网络分类器结构a输入层神经元个数对归一化为32*16点阵大小的字符，以每个像素点为一个网格，输入层神经元个数取512；b输出层神经元个数根据不同网络输出层神经元个数分别为：汉字为1000；字母26；数字10；图形符号为500；c隐层层数为一层，单隐层神经元数目计算公式为：式中，h_num为隐层神经元个数，i_num为输入层神经元个数，o_num为输出层神经元个数；d激活函数选用logistic函数形式如下：式中，vj为神经元j的局部域，为隐藏层的输出函数；④人工神经元网络训练将标志牌信息识别库中的汉字、字母、数字和图形四种样本分别输入到对应的神经元网络中，并分别对四个网络进行学习因子、动量因子、误差目标值以及阈值范围的设定，然后进行人工神经元网络的识别训练，输入层到隐层权值或隐层到输出层权值不在设置的阈值范围内，则显示人工神经元网络训练失败，退出训练；输入层到隐层权值和隐层到输出层权值均在设置的阈值范围内，则保存权值，人工神经元网络训练成功；⑤标志牌字符识别将训练获得的权值矩阵输入到相应神经元网络结构的权值矩阵中，将待识别的字符样本以矩阵形式保存到文件夹中，利用训练后神经元网络识别该字符样本的类别，并输出结果；⑥人工神经元网络测试，对识别的准确率进行计算，人工记录输出结果100次以上，并获得训练后神经元网络的识别准确率，如果准确率低于95％，则重复进行步骤④人工神经元网络训练和步骤⑤标志牌字符识别，如果准确率为95％或95％以上，则具有鲁棒性的神经元网络分类器训练完成；步骤二、建立疲劳模式分类器①采集M1名驾驶人在正常驾驶状态下的驾驶行为数据，采集M2名驾驶人在疲劳驾驶状态下的驾驶行为数据，其中，M1、M2均为自然数；②利用特征提取方法提取疲劳驾驶特征参数，采用统计分析的方法获得正常驾驶和疲劳驾驶的特征参数，确定驾驶人视线轨迹、眨眼频率和PERCLOS为疲劳驾驶特征参数；③红外摄像头Ⅱ15跟踪驾驶人视线轨迹，驾驶人眼睛的注视点位置与识别出的交通标志牌位置不一致，则发送驾驶人错失道路交通标志的信号；驾驶人眼睛的注视点位置与识别出的交通标志牌位置一致，则记录驾驶人注视该区域的时间，时间不超过1秒，则发送驾驶人错失道路交通标志的信号；时间超过1秒，则进行下一步；④红外摄像头Ⅱ15记录驾驶人的眨眼频率和眨眼时间，设定眨眼频率阈值范围为2秒次～4秒次,每次眨眼时间阈值范围为0.25秒～0.3秒，记录的驾驶人是眨眼频率或眨眼时间不在给定的阈值范围，则发送驾驶人错失道路交通标志的信号；记录的驾驶人是眨眼频率和眨眼时间均在给定的阈值范围，则进行下一步；⑤根据度量疲劳瞌睡的物理量PERCLOS，对驾驶人取100组正常驾驶状态下的眼睑尺寸获得驾驶人左眼睑平均尺寸LELM和驾驶人右眼睑平均尺寸RELM，单位时间内眼睛闭合程度超过80％的次数np的计算公式为式中，LELJ为第j帧图像的左眼睑尺寸，RELJ为第j帧图像的右眼睑尺寸；单位时间内眼睛睁开程度小于20％所占的比例P80作为PERCLOS的评价标准P80的计算公式为式中，f0为采样频率，TP80为计算时窗大小；度量疲劳瞌睡的物理量PERCLOS的计算公式如下：设定眼睛闭合至80％及80％以上所占的时间阈值为30秒分，红外摄像头Ⅱ检测到单位时间内眼睛闭合至80％及80％以上所占的时间，超过给定阈值，则发送驾驶人错失道路交通标志的信号；⑥根据正常和疲劳状态下的驾驶行为数据统计，建立疲劳驾驶条件下特征参数值的数据库，利用机器学习的方法构建疲劳模式分类器；步骤三、构建有无雾图像分类器A、建立道路图像支持向量机SVM分类器①红外摄像头采集X张红外道路图像和红外非道路图像，并将采集到的图像传输到有无雾图像分类模块，其中包括X1张红外道路图像和X2张红外非道路图像，X、X1、X2均为自然数，在有无雾图像分类模块中建立道路图像分类器的图像训练库；②通过道路图像分类器的图像训练库离线训练支持向量机SVM分类器，支持向量机SVM分类器根据道路纹理获得道路图像特征，对道路图像和非道路图像分类，并获得红外道路图像特征，道路图像支持向量机SVM分类器建立完成；B、建立有无雾图像分类器①红外摄像头采集Y张不同雾浓度的红外有雾图像和红外无雾图像，其中包括Y1张有雾红外图像和Y2张无雾红外图像，Y、Y1、Y2均为自然数，在有无雾图像分类模块中建立有无雾图像分类器的图像训练库；②通过有无雾图像分类器的图像训练库离线训练高斯混合模型GMM分类器，高斯混合模型GMM分类器根据有雾图像灰度值频率特征，提取有雾图像和无雾图像的一维灰度直方图图像特征，并根据图像的直方图对有雾图像和无雾图像进行分类，有无雾图像高斯混合模型GMM分类器建立完成；③通过有无雾图像分类器的图像训练库离线训练支持向量机SVM分类器，支持向量机SVM分类器根据有雾图像和无雾图像的傅里叶变换频率特征，对有雾图像和无雾图像进行分类，并提取有雾图像和无雾图像的傅里叶变换频率特征，有无雾图像支持向量机SVM分类器建立完成；将有无雾图像高斯混合模型GMM分类器分类出的有雾图像和有无雾图像支持向量机SVM分类器分类出的有雾图像取并集，得到有雾图像样本库；步骤四、建立图像去雾模型①大气光学模型为Ix＝Jxe-βd+A1-e-βd，Ix为分类后的有雾图像，Jx为去雾之后的清晰图像，A为全球大气光成分，e-βd为大气透射率值t，β为大气消光系数，d为能见度值；②取有雾道路图像在红绿蓝RGB三通道图像中的最小通道灰度图像，然后再对获取的灰度图像做最小值滤波，获得有雾图像暗通道：其中，Jdark是指J的暗通道，JC表示彩色图像的每个通道，C为RGB三通道；Ω为有所有像素的整个图像窗口，为整个图像窗口所有像素中的最小值像素，为整个图像窗口每个像素RGB三个通道分量的最小像素值；③从暗通道图像中按照亮度大小取前0.1％的像素，然后在原始有雾图中寻找对应的具有最高亮度的点的值，作为大气光的成分值A；④处理大气光学模型，形式如下：Ix＝Jxe-βd+A1-e-βd其中C为RGB三通道，对上式两端求暗通道即对上式两边求两次最小值运算，再利用暗通道灰度值接近零，因此，可推导出：其中t为大气透射率值，由于雾的存在使人感到景深的存在，因此在中引入一个[0,1]之间的因子ω，获得大气透射率图，⑤得到透射率图的边缘和纹理细节都有损失，采用中值滤波器对透射率图进行边缘保持的滤波器优化,获得细化透射率图；⑥设置阈值t0，当t值小于t0时，令t＝t0,以t0＝0.1为标准，将处理后的三通道图像合成，恢复出去雾后的清晰图像Jx，步骤五、构建道路标志识别预警策略①红外摄像头Ⅰ采集实时图像在车辆行进过程中，红外摄像头Ⅰ采集实时图像，并将采集到的图像依次输入到有无雾图像分类器和图像去雾模型，对有雾图像进行图像去雾；②将去雾后的图像或者实时无雾图像输入到道路交通标志牌识别系统，将获得的道路交通标志牌图像作为输入，传输到标志牌字符识别模块，在标志牌字符识别模块中将道路交通标志牌图像进行图像分割预处理后，利用离线训练完成的神经元网络分类器进行字符识别；识别后的道路交通标志信息，输入预警模块并通过车载扬声器发出声音警告并在车载显示屏上显示该道路交通标志信息；③红外摄像头Ⅱ采集驾驶人视线注视点、注视时间、眨眼频率和PERCLOS输入至疲劳模式分类器，驾驶人视线注视点、注视时间、眨眼频率、PERCLOS均在给定阈值范围内，则不提供给驾驶员预警信息；驾驶人视线注视点、注视时间、眨眼频率或PERCLOS不在给定阈值范围内，则预警模块通过车载扬声器发出声音警告并在车载显示屏上显示该道路交通标志信息。所述步骤一中的N≥3000，N1≥1000，N2≥2000。所述步骤一中的L≥1000，K≥2000。所述步骤二中的M1≥50，M2≥50。所述步骤三中的X≥3000，X1≥1000，X2≥2000。所述步骤三中的Y≥3000，Y1≥1000，Y2≥2000。通过上述设计方案，本发明可以带来如下有益效果：1、本发明基于机器视觉雾天行车错失道路标志牌的预警系统及方法，将道路交通标志牌高斯混合模型GMM分类器，识别道路交通标志牌位置、建立道路交通标志牌字符分类识别神经元网络分类器，实时分类识别道路标志牌字符信息、建立眼动仪检测模型、实时根据眼动仪检测模型判断驾驶人的行驶状态是否疲劳或者执行了次任务，判断驾驶者是否错过交通道路标志牌字符信息，进行预警。在实际行车过程中，实时采集车辆行进过程中的道路视频图像，根据离线训练的道路标志牌图像分类库，实时判断图像是否有道路标志牌，如果判断出有道路标志牌，根据离线训练的道路标志牌字符分类识别库，实时分类识别路标志牌的字符，并将信息显示在车载显示屏上；实时根据眼动仪检测模型，判断驾驶人是否错过道路标志牌信息，给驾驶人视觉和听觉警告，实现对驾驶过程中驾驶人注意力分散的预警，使驾驶者获得充足的道路环境信息，减弱注意力分散对驾驶人正常驾驶产生的影响。2、本发明的模块内部、模块与模块之间信号处理时间短，能够满足实时性的要求。3、本发明对道路标志牌字符进行分类识别，提高了字符识别的准确率，对驾驶人错过的道路环境信息进行补充，增强视觉信息内容，有益于推广应用，可大幅降低驾驶人在驾驶疲劳或者执行驾驶次任务因错过交通标志信息，发生恶性交通事故的概率。附图说明以下结合附图和具体实施方式对本发明作进一步的说明：图1为本发明中基于机器视觉雾天行车错失道路标志牌的预警方法的流程框图。图2为本发明中基于机器视觉雾天行车错失道路标志牌的预警系统的结构框图。图中1-电源、2-变压插头Ⅰ、3-红外摄像头Ⅰ、4-变压插头Ⅱ、5-车载电控单元模块、6-图像分类模块、7-图像去雾模块、8-标志牌识别模块、9-标志牌字符识别模块、10-驾驶行为分类模块、11-预警模块、12-车载显示屏、13-汽车音响设备、14-车载扬声器、15-红外摄像头Ⅱ。具体实施方式如图所示，一种基于机器视觉雾天行车错失道路标志牌的预警系统，其特征在于：包括电源1、变压插头Ⅰ2、红外摄像头Ⅰ3、变压插头Ⅱ4、车载电控单元模块5、图像分类模块6、图像去雾模块7、标志牌识别模块8、标志牌字符识别模块9、驾驶行为分类模块10、预警模块11、车载显示屏12、汽车音响设备13、车载扬声器14和红外摄像头Ⅱ15，所述电源1通过变压插头Ⅰ2与红外摄像头Ⅰ3连接，电源1通过变压插头Ⅱ4与红外摄像头Ⅱ15连接；所述车载电控单元模块5包括图像分类模块6、图像去雾模块7、标志牌识别模块8、标志牌字符识别模块9、驾驶行为分类模块10、预警模块11，所述图像分类模块6的一端通过导线与红外摄像头Ⅰ3连接，图像分类模块6的另一端通过导线与图像去雾模块7连接；所述图像去雾模块7通过导线与标志牌识别模块8连接；所述标志牌识别模块8通过导线与标志牌字符识别模块9连接；所述标志牌字符识别模块9通过导线与预警模块11连接；所述驾驶行为分类模块10的一端通过导线与红外摄像头Ⅱ15连接，驾驶行为分类模块10的另一端通过导线与预警模块11连接；所述车载显示屏12通过导线与预警模块11连接；所述汽车音响设备13的一端通过导线与预警模块11连接，汽车音响设备13的另一端通过导线与车载扬声器14连接。基于机器视觉雾天行车错失道路标志牌的预警方法，包括：通过离线训练的道路标志牌信息分类器，建立道路标志牌信息识别系统；采集车辆行进过程中的驾驶行为数据，输入到离线训练的疲劳模式分类器，实现对驾驶人疲劳状态的辨识；采集车辆行进过程中前方道路环境图像，输入到离线训练的有无雾分类器，实现对天气状态的辨识；对有雾图像采用物理去雾技术，获得视觉增强图像；在驾驶人疲劳状态和有雾天气状态下，根据道路标志牌信息识别库，识别当前道路知识信息，将道路环境标志信息以视觉和听觉的形式警告驾驶人。一种基于机器视觉雾天行车错失道路标志牌的预警方法，其特征在于：包括以下步骤步骤一、建立道路交通标志牌识别系统A、建立道路交通标志牌高斯混合模型GMM分类器①红外摄像头采集N张有道路交通标志牌红外道路图像和无道路交通标志牌红外道路图像，并将采集到的图像传输到标志牌识别模块，其中包括N1张有道路交通标志牌红外道路图像和N2张无道路交通标志牌红外道路图像，N、N1、N2均为自然数，在标志牌识别模块中建立道路交通标志牌分类器的图像训练集；②对道路交通标志牌分类器的图像训练集中的图像进行二值化、倾斜校正以及缩放尺寸归一化处理，获得统一尺寸的道路交通标志牌分类器的图像训练库；③利用道路交通标志牌分类器的图像训练库离线训练高斯混合模型GMM分类器，高斯混合模型GMM分类器根据道路交通标志牌金属材质的纹理特征、面积特征、轮廓形状特征以及道路交通标志牌直方图特征，按照有无道路交通标志牌对采集的红外道路图像进行分类，获得有道路交通标志牌的图像特征，高斯混合模型GMM分类器建立完成；B、建立用于道路交通标志牌字符分类识别的神经元网络分类器①红外摄像头采集L张不同道路交通标志牌图像，L为自然数，对获得的道路交通标志牌图像进行直方图均衡化处理、阈值滤波器、查找轮廓算法对其中的字符进行分割，对分割的字符尺寸归一化处理，统一缩小其尺寸为32*16像素；②根据标志牌上的信息种类的不同，设计四个神经网络：汉字网络、字母网络、数字网络、图形符号网络来实现对标志牌信息的分类。利用汉字库CCLIB中的GB2312-80中全部6763个汉字和571个字符，构造本系统中标志牌的汉字、字母、数字点阵字符库。据统计，道路交通标志种类多样包括警告标志46种，禁令标志43种，指示标志30种，道路标志57种，指路标志40种，道路交通标线39种，辅助标志16种，旅游区标志17种，道路施工安全标志26种。其中图形标志或者包含图形标志的标志牌占90％以上，因此上述汉字、字母、数字点阵字符库满足不了实际图形标志识别需求，在本发明专利中，将建立除汉字、字母、数字之外的图形标志样本库。采集K张标志牌图像，提取其中的图形标志，分析标志牌图形的特点：警告图形标志牌黄底黑图、禁令图形标志白底黑图红斜线、指示标志蓝底白图，提取其图形符号构造点阵图存入图形样本库中。将汉字、字母、数字点阵字符库和图形样本库合并为标志牌信息识别库，图形字符组合的标志牌可根据标志牌信息识别库识别标志信息。③构建反向传播神经元网络分类器结构a输入层神经元个数，对归一化为32*16点阵大小的字符，以每个像素点为一个网格，输入层神经元个数取512；b输出层神经元个数，根据不同网络输出层神经元个数分别为：汉字1000；字母26；数字10；图形符号为500；c隐层层数为一层，有理论研究可知，有输入层输出层和单隐层的神经网络足够执行任意复杂的函数映射，单隐层神经元数目计算公式为：式中，h_num表示隐层神经元个数，i_num表示输入层神经元个数，o_num表示输出层神经元个数。d激活函数选用逻辑斯谛logistic函数形式如下：式中，vj为神经元j的局部域，为隐藏层的输出函数,e指的是约等于2.71828的自然对数的底。④将标志牌信息识别库中的汉字、字母、数字和图形四种样本分别输入到对应的神经元网络中，并分别对四个网络进行学习因子、动量因子、误差目标值以及阈值范围的设定，然后进行人工神经元网络的识别训练，输入层到隐层权值、隐层到输出层权值其中任意一个权值不在设置的阈值范围内，则显示人工神经元网络训练失败，退出训练；输入层到隐层权值和隐层到输出层权值均在设置的阈值范围内，则保存权值，人工神经元网络训练成功。⑤标志牌字符识别：通过以上步骤创建神经元网络后，将训练的权值矩阵输入到相应神经元网络结构的权值矩阵中，将待识别的字符样本以矩阵形式保存到文件夹中，开始识别样本的类别，并输出结果⑥人工神经元网络测试，对识别的准确率进行计算，训练的过程是不断迭代的过程，需对结果进行评价，如果准确率低于95％，需要在训练过程中不断改进，以训练出具有鲁棒性的神经元网络分类器，如果准确率为95％或95％以上，则具有鲁棒性的神经元网络分类器训练完成；步骤二、建立疲劳模式分类器①采集M1名驾驶人在正常驾驶状态下的驾驶行为数据，采集M2名驾驶人在疲劳驾驶状态下的驾驶行为数据，其中，M1、M2均为自然数；②利用特征提取方法提取疲劳驾驶特征参数，采用统计分析的方法获得正常驾驶和疲劳驾驶的特征参数，确定驾驶人视线轨迹、眨眼频率和PERCLOS为疲劳驾驶特征参数；③红外摄像头Ⅱ跟踪驾驶人视线轨迹，驾驶人眼睛的注视点位置与识别出的交通标志牌位置不一致，则发送驾驶人错失道路交通标志的信号；驾驶人眼睛的注视点位置与识别出的交通标志牌位置一致，则记录驾驶人注视该区域的时间，时间不超过1秒，则发送驾驶人错失道路交通标志的信号；时间超过1秒，则进行下一步；④红外摄像头Ⅱ记录驾驶人是眨眼频率和眨眼时间，设定眨眼频率阈值范围为2秒次～4秒次,每次眨眼时间阈值范围为0.25秒～0.3秒，记录的驾驶人是眨眼频率、眨眼时间其中任意一个参数值不在给定的阈值范围，则发送驾驶人错失道路交通标志的信号；记录的驾驶人是眨眼频率和眨眼时间均在给定的阈值范围，则进行下一步；⑤根据度量疲劳瞌睡的物理量PERCLOS，对驾驶人取100组正常驾驶状态下的眼睑尺寸获得驾驶人左眼睑平均尺寸LELM和驾驶人右眼睑平均尺寸RELM，单位时间内眼睛闭合程度超过80％的次数np的计算公式为式中，LELJ为第j帧图像的左眼睑尺寸，RELJ为第j帧图像的右眼睑尺寸；单位时间内眼睛睁开程度小于20％所占的比例P80作为PERCLOS的评价标准P80的计算公式为式中，f0为采样频率，TP80为计算时窗大小；度量疲劳瞌睡的物理量PERCLOS的计算公式如下：设定眼睛闭合至80％及80％以上所占的时间阈值为30秒分，红外摄像头Ⅱ15检测到单位时间内眼睛闭合至80％及80％以上所占的时间，超过给定阈值，则发送驾驶人错失道路交通标志的信号；⑥根据正常和疲劳状态下的驾驶行为数据统计，建立疲劳驾驶条件下特征参数值的数据库，利用机器学习的方法构建疲劳模式分类器；步骤三、构建有无雾图像分类器A、建立道路图像支持向量机SVM分类器①红外摄像头采集X张红外道路图像和红外非道路图像，并将采集到的图像传输到有无雾图像分类模块，其中包括X1张红外道路图像和X2张红外非道路图像，X、X1、X2均为自然数，在有无雾图像分类模块中建立道路图像分类器的图像训练库；②通过道路图像分类器的图像训练库离线训练支持向量机SVM分类器，支持向量机SVM分类器根据道路纹理获得道路图像特征，对道路图像和非道路图像分类，并获得红外道路图像特征，道路图像支持向量机SVM分类器建立完成；B、建立有无雾图像分类器①红外摄像头采集Y张不同雾浓度的红外有雾图像和红外无雾图像，其中包括Y1张有雾红外图像和Y2张无雾红外图像，Y、Y1、Y2均为自然数，在有无雾图像分类模块中建立有无雾图像分类器的图像训练库；②通过有无雾图像分类器的图像训练库离线训练高斯混合模型GMM分类器，高斯混合模型GMM分类器根据有雾图像灰度值频率特征，提取有雾图像和无雾图像的一维灰度直方图图像特征，并根据图像的直方图对有雾图像和无雾图像进行分类，有无雾图像高斯混合模型GMM分类器建立完成；③通过有无雾图像分类器的图像训练库离线训练支持向量机SVM分类器，支持向量机SVM分类器根据有雾图像和无雾图像的傅里叶变换频率特征，对有雾图像和无雾图像进行分类，并提取有雾图像和无雾图像的傅里叶变换频率特征，有无雾图像支持向量机SVM分类器建立完成；将有无雾图像高斯混合模型GMM分类器分类出的有雾图像和有无雾图像支持向量机SVM分类器分类出的有雾图像取并集，得到有雾图像样本库；步骤四、建立图像去雾模型①大气光学模型为Ix＝Jxe-βd+A1-e-βd，Ix为分类后的有雾图像，Jx为去雾之后的清晰图像，A为全球大气光成分，e-βd为大气透射率值t，β为大气消光系数，d为能见度值；②取有雾道路图像在红绿蓝RGB三通道图像中的最小通道灰度图像，然后再对获取的灰度图像做最小值滤波，获得有雾图像暗通道：其中，Jdark是指J的暗通道，JC表示彩色图像的每个通道，C为RGB三通道；Ω为包含所有像素的整个图像窗口，为整个图像窗口所有像素中的最小值像素，为整个图像窗口每个像素RGB三个通道分量的最小像素值；③从暗通道图像中按照亮度大小取前0.1％的像素，然后在原始有雾图中寻找对应的具有最高亮度的点的值，作为大气光的成分值A；④处理大气光学模型，形式如下：Ix＝Jxe-βd+A1-e-βd其中C为RGB三通道，对上式两端求暗通道即对上式两边求两次最小值运算，再利用暗通道灰度值接近零，因此，可推导出：其中t为大气透射率值，由于雾的存在使人感到景深的存在，因此在中引入一个[0,1]之间的因子ω，获得大气透射率图，⑤得到透射率图的边缘和纹理细节都有损失，采用中值滤波器对透射率图进行边缘保持的滤波器优化,获得细化透射率图；⑥设置阈值t0，当t值小于t0时，令t＝t0,以t0＝0.1为标准，将处理后的三通道图像合成，恢复出去雾后的清晰图像Jx，步骤五、构建道路标志识别预警策略①红外摄像头Ⅰ3采集实时图像；本系统要求是车辆行驶过程中实时的处理的过程，因此该系统采用红外IR摄像机来获取数据，对于本发明专利的普遍性、实时性等要求，道路环境的复杂性，考虑到拍摄环境光线昏暗模糊，并且与地面不平行、道路标志牌在图像中有轻微的扭曲，采用结构性红外光学投影器的摄像机，就可只获取红外光，即得到高品质的图像。在车辆行进过程中，将采集的图像输入到雾天图像分类器和图像去雾模型，如果判断为有雾图像，则对有雾图像进行图像去雾，如果判断为无雾图像，则进行下一步；②将去雾后的图像或者实时无雾图像输入到标志牌字符识别系统，将获得的道路交通标志牌图像作为输入，传输到标志牌字符识别模块9，在该模块里将标志牌图像进行图像分割的预处理后，利用已经离线训练好的神经元网络分类器进行字符的识别；识别后的道路交通标志信息，输入预警模块11通过车载扬声器14发出有关标志牌信息的声音警告并在车载显示屏12上显示警告的标志信息；③红外摄像头Ⅱ15采集驾驶人视线注视点、注视时间、眨眼频率和PERCLOS输入至疲劳模式分类器，驾驶人视线注视点、注视时间、眨眼频率、PERCLOS均在给定阈值范围内，则不提供给驾驶员预警信息；驾驶人视线注视点、注视时间、眨眼频率、PERCLOS其中任意一个参数值不在给定阈值范围内，则预警模块11通过车载扬声器14发出声音警告并在车载显示屏上显示该道路交通标志信息。所述步骤一中的N≥3000，N1≥1000，N2≥2000。所述步骤一中的L≥1000，K≥2000。所述步骤二中的M1≥50，M2≥50。所述步骤三中的X≥3000，X1≥1000，X2≥2000。所述步骤三中的Y≥3000，Y1≥1000，Y2≥2000。下面给出本方法的一个具体实施例：一种基于机器视觉雾天行车错失道路标志牌的预警方法，其特征在于：包括以下步骤步骤一、建立道路交通标志牌识别分类器A、建立道路交通标志牌高斯混合模型GMM分类器①红外摄像头Ⅰ3采集3000张包含标志牌红外道路图像和无标志牌红外道路图像，并将采集到的图像传输到图像分类模块6，其中包括1000张包含标志牌红外道路图像和2000张无标志牌红外道路图像，在图像分类模块6中建立道路交通标志牌分类器的图像训练库；②对道路交通标志牌分类器的图像训练集中的图像进行二值化、倾斜校正以及缩放尺寸归一化处理，获得统一尺寸的道路交通标志牌分类器的图像训练库；③利用道路交通标志牌分类器的图像训练库离线训练高斯混合模型GMM分类器，高斯混合模型GMM分类器根据道路标志牌金属板材的纹理特征、标志牌面积特征、轮廓特征，一般是规则矩形、圆形或三角形，以及道路标志牌直方图特征建立高斯混合模型三维特征空间，训练包含标志牌红外道路图像和无标志牌红外道路图像，获得标志牌的图像特征，道路交通标志牌分类器建立完成；B、建立用于道路交通标志牌字符分类识别的神经元网络分类器①红外摄像头采集1000张不同道路交通标志牌图像，对获得的道路交通标志牌图像进行直方图均衡化处理、阈值滤波器、查找轮廓算法对其中的字符进行分割，对分割的字符尺寸归一化处理，统一缩小其尺寸为32*16像素；②根据标志牌上的信息种类的不同，设计四个神经网络：汉字网络、字母网络、数字网络、图形符号网络来实现对标志牌信息的分类。利用汉字库CCLIB中的GB2312-80中全部6763个汉字和571个字符，构造本系统中标志牌的汉字、字母、数字点阵字符库。据统计，道路交通标志种类多样包括警告标志46种，禁令标志43种，指示标志30种，道路标志57种，指路标志40种，道路交通标线39种，辅助标志16种，旅游区标志17种，道路施工安全标志26种。其中图形标志或者包含图形标志的标志牌占90％以上，因此上述汉字、字母、数字点阵字符库满足不了实际图形标志识别需求，在本发明专利中，将建立除汉字、字母、数字之外的图形标志样本库。采集2000张标志牌图像，提取其中的图形标志，分析标志牌图形的特点：警告图形标志牌黄底黑图、禁令图形标志白底黑图红斜线、指示标志蓝底白图，提取其图形符号构造点阵图存入图形样本库中。将汉字、字母、数字点阵字符库和图形样本库合并为标志牌信息识别库，图形字符组合的标志牌可根据标志牌信息识别库识别标志信息。③构建反向传播神经元网络分类器结构a输入层神经元个数，对归一化为32*16点阵大小的字符，以每个像素点为一个网格，输入层神经元个数取512；b输出层神经元个数，根据不同网络输出层神经元个数分别为：汉字1000；字母26；数字10；图形符号为500；c隐层层数为一层，有理论研究可知，有输入层输出层和单隐层的神经网络足够执行任意复杂的函数映射，单隐层神经元数目计算公式为：式中，h_num表示隐层神经元个数，i_num表示输入层神经元个数，o_num表示输出层神经元个数。d激活函数选用逻辑斯谛logistic函数形式如下：式中，vj为神经元j的局部域，为隐藏层的输出函数,e指的是约等于2.71828的自然对数的底。④人工神经元网络训练过程,将标志牌信息识别库中的汉字、字母、数字和图形四种样本分别输入到对应的神经元网络中，并分别对四个网络进行学习因子、动量因子、误差目标值以及阈值范围的设定，然后进行人工神经元网络的识别训练，输入层到隐层权值或隐层到输出层权值其中任意一个权值不在设置的阈值范围内，则显示人工神经元网络训练失败，退出训练；输入层到隐层权值和隐层到输出层权值均在设置的阈值范围内，则保存权值，人工神经元网络训练成功；⑤标志牌字符识别将训练获得的权值矩阵输入到相应神经元网络结构的权值矩阵中，将待识别的字符样本以矩阵形式保存到文件夹中，利用训练后神经元网络识别该字符样本的类别，并输出结果；⑥人工神经元网络测试，对识别的准确率进行计算，人工记录输出结果100次，将实时字符识别后的标志牌信息与现实标志牌真实信息作对比，对该分类识别的算法最后的识别结果，进行准确率评价，并获得训练后神经元网络的识别准确率，如果准确率低于95％，则重复进行步骤④人工神经元网络训练和步骤⑤标志牌字符识别，对实时分类识别的信息中出现识别准确度较低的汉字、数字、字母以及图案根据识别效果粘连情况，再次进行训练，增加粘连字符的样本库直到识别准确率为95％或95％以上，则具有鲁棒性的神经元网络分类器训练完成；步骤二、建立疲劳模式分类器①采集50名驾驶人在正常驾驶状态下的驾驶行为数据，采集50名驾驶人在疲劳驾驶状态下的驾驶行为数据；②利用特征提取方法提取疲劳驾驶特征参数，采用统计分析的方法获得正常驾驶和疲劳驾驶的特征参数，确定驾驶人视线轨迹、眨眼频率和PERCLOS为疲劳驾驶特征参数；③红外摄像头Ⅱ15跟踪驾驶人视线轨迹，驾驶人眼睛的注视点位置与识别出的交通标志牌位置不一致，则发送驾驶人错失道路交通标志的信号；驾驶人眼睛的注视点位置与识别出的交通标志牌位置一致，则记录驾驶人注视该区域的时间，时间不超过1秒，则发送驾驶人错失道路交通标志的信号；时间超过1秒，则进行下一步；④红外摄像头Ⅱ15记录驾驶人是眨眼频率和眨眼时间，设定眨眼频率阈值范围为2秒次～4秒次,每次眨眼时间阈值范围为0.25秒～0.3秒，记录的驾驶人是眨眼频率、眨眼时间其中任意一个参数值不在给定的阈值范围，则发送驾驶人错失道路交通标志的信号；记录的驾驶人是眨眼频率和眨眼时间均在给定的阈值范围，则进行下一步；⑤根据度量疲劳瞌睡的物理量PERCLOS，对驾驶人取100组正常驾驶状态下的眼睑尺寸获得驾驶人左眼睑平均尺寸LELM和驾驶人右眼睑平均尺寸RELM，单位时间内眼睛闭合程度超过80％的次数np的计算公式为式中，LELJ为第j帧图像的左眼睑尺寸，RELJ为第j帧图像的右眼睑尺寸；单位时间内眼睛睁开程度小于20％所占的比例P80作为PERCLOS的评价标准P80的计算公式为式中，f0为采样频率，TP80为计算时窗大小；度量疲劳瞌睡的物理量PERCLOS的计算公式如下：设定眼睛闭合至80％及80％以上所占的时间阈值为30秒分，红外摄像头Ⅱ15检测到单位时间内眼睛闭合至80％及80％以上所占的时间，超过给定阈值，则发送驾驶人错失道路交通标志的信号；⑥根据正常和疲劳状态下的驾驶行为数据统计，建立疲劳驾驶条件下特征参数值的数据库，利用机器学习的方法构建疲劳模式分类器；步骤三、构建有无雾图像分类器A、建立道路图像支持向量机SVM分类器①红外摄像头采集3000张红外道路图像和红外非道路图像，并将采集到的图像传输到有无雾图像分类模块，其中包括1000张红外道路图像和2000张红外非道路图像，在有无雾图像分类模块中建立道路图像分类器的图像训练库；②通过道路图像分类器的图像训练库离线训练支持向量机SVM分类器，支持向量机SVM分类器根据道路纹理获得道路图像特征，对道路图像和非道路图像分类，并获得红外道路图像特征，道路图像支持向量机SVM分类器建立完成；B、建立有无雾图像分类器①红外摄像头采集3000张不同雾浓度的红外有雾图像和红外无雾图像，其中包括1000张有雾红外图像和2000张无雾红外图像，在有无雾图像分类模块中建立有无雾图像分类器的图像训练库；②通过有无雾图像分类器的图像训练库离线训练高斯混合模型GMM分类器，高斯混合模型GMM分类器根据有雾图像灰度值频率特征，提取有雾图像和无雾图像的一维灰度直方图图像特征，并根据图像的直方图对有雾图像和无雾图像进行分类，有无雾图像高斯混合模型GMM分类器建立完成；③通过有无雾图像分类器的图像训练库离线训练支持向量机SVM分类器，支持向量机SVM分类器根据有雾图像和无雾图像的傅里叶变换频率特征，对有雾图像和无雾图像进行分类，并提取有雾图像和无雾图像的傅里叶变换频率特征，有无雾图像支持向量机SVM分类器建立完成；将有无雾图像高斯混合模型GMM分类器分类出的有雾图像和有无雾图像支持向量机SVM分类器分类出的有雾图像取并集，得到有雾图像样本库；步骤四、建立图像去雾模型①大气光学模型为Ix＝Jxe-βd+A1-e-βd，Ix为分类后的有雾图像，Jx为去雾之后的清晰图像，A为全球大气光成分，e-βd为大气透射率值t，β为大气消光系数，d为能见度值；②取有雾道路图像在红绿蓝RGB三通道图像中的最小通道灰度图像，然后再对获取的灰度图像做最小值滤波，获得有雾图像暗通道：其中，Jdark是指J的暗通道，JC表示彩色图像的每个通道，C为RGB三通道；Ω为包含所有像素的整个图像窗口，为整个图像窗口所有像素中的最小值像素，为整个图像窗口每个像素RGB三个通道分量的最小像素值；③从暗通道图像中按照亮度大小取前0.1％的像素，然后在原始有雾图中寻找对应的具有最高亮度的点的值，作为大气光的成分值A；④处理大气光学模型，形式如下：Ix＝Jxe-βd+A1-e-βd其中C为RGB三通道，对上式两端求暗通道即对上式两边求两次最小值运算，再利用暗通道灰度值接近零，因此，可推导出：其中t为大气透射率值，由于雾的存在使人感到景深的存在，因此在中引入一个[0,1]之间的因子ω，获得大气透射率图，⑤得到透射率图的边缘和纹理细节都有损失，采用中值滤波器对透射率图进行边缘保持的滤波器优化,获得细化透射率图；⑥设置阈值t0，当t值小于t0时，令t＝t0,以t0＝0.1为标准，将处理后的三通道图像合成，恢复出去雾后的清晰图像Jx，步骤五、构建道路标志识别预警策略①红外摄像头Ⅰ3实时采集距离在100米～250米远的标志图像信息；本系统要求是车辆行驶过程中实时的处理的过程，因此该系统采用红外IR摄像机来获取数据，对于本发明专利的普遍性、实时性等要求，道路环境的复杂性，考虑到拍摄环境光线昏暗模糊，并且与地面不平行、道路标志牌在图像中有轻微的扭曲，采用结构性红外光学投影器的摄像机，就可只获取红外光，即得到高品质的图像。在车辆行进过程中，将采集的图像输入到雾天图像分类器，如果判断为有雾图像，输入到图像去雾模型对有雾图像进行图像去雾，如果判断为无雾图像，则进行下一步；②将去雾后的图像或者实时无雾图像输入到标志牌字符识别系统，利用已训练好的道路交通标志牌高斯混合模型GMM分类器分类，将获得的道路交通标志牌图像作为输入，传输到标志牌字符识别模块9，在该模块里将标志牌图像进行图像分割的预处理：彩色图像灰度化、5*5高斯模糊去噪、Hough变换分割、Oust阈值化图像、形态学开闭运算、连通分量分析、光照直方图均衡等操作得到处理后的道路交通标志牌区域，并对该区域进行定位，将获得的道路交通标志牌区域作为输入，利用已经离线训练好的神经元网络分类器进行字符的识别；识别后的道路交通标志信息，输入预警模块11通过车载扬声器14发出有关标志牌信息的声音警告并在车载显示屏同步显示警告的标志信息；③红外摄像头Ⅱ15采集驾驶人视线注视点、注视时间、眨眼频率和PERCLOS输入至疲劳模式分类器，驾驶人视线注视点、注视时间、眨眼频率、PERCLOS均在给定阈值范围内，则不提供给驾驶员预警信息；驾驶人视线注视点、注视时间、眨眼频率、PERCLOS其中任意一个参数值不在给定阈值范围内，则预警模块11通过车载扬声器14发出声音警告并在车载显示屏上显示该道路交通标志信息。以上具体实施范例中，采集不同道路图像的张数为3000张，其中包括1000张含不同道路标志牌的道路图像和2000张任意非道路图像包括建筑、草地、天空等，但本发明对道路图像采集张数的范围不限于本实施例，基于公知常识，前期数据采集量越大，后期数据处理的准确度越高，故本实施例中只给出端值，即最小值的范例；同理，本具体实施范例中采集不同驾驶人状态图像的张数为100张，其中包括50张疲劳驾驶人的驾驶行为状态图像和50张正常驾驶人的驾驶行为状态图像，本具体实施范例中采集不同天气下道路图像的张数为3000张，其中包括1000张有雾道路图像和2000张无雾道路图像。本具体实施范例中采集不同雾图的张数为3000张，其中包括1000张有雾图像和2000张无雾图像。本具体实施范例中采集不同道路标志牌的张数L为1000张。本具体实施范例中采集不同道路标志牌的张数K为2000张。在具体实施例中也只给出端值，即最小值的范例。

权利要求：1.一种基于机器视觉雾天行车错失道路标志牌的预警系统，其特征在于：包括电源1、变压插头Ⅰ2、红外摄像头Ⅰ3、变压插头Ⅱ4、车载电控单元模块5、图像分类模块6、图像去雾模块7、标志牌识别模块8、标志牌字符识别模块9、驾驶行为分类模块10、预警模块11、车载显示屏12、汽车音响设备13、车载扬声器14和红外摄像头Ⅱ15，所述电源1通过变压插头Ⅰ2与红外摄像头Ⅰ3连接，电源1通过变压插头Ⅱ4与红外摄像头Ⅱ15连接；所述车载电控单元模块5包括图像分类模块6、图像去雾模块7、标志牌识别模块8、标志牌字符识别模块9、驾驶行为分类模块10、预警模块11，所述图像分类模块6的一端通过导线与红外摄像头Ⅰ3连接，图像分类模块6的另一端通过导线与图像去雾模块7连接；所述图像去雾模块7通过导线与标志牌识别模块8连接；所述标志牌识别模块8通过导线与标志牌字符识别模块9连接；所述标志牌字符识别模块9通过导线与预警模块11连接；所述驾驶行为分类模块10的一端通过导线与红外摄像头Ⅱ15连接，驾驶行为分类模块10的另一端通过导线与预警模块11连接；所述车载显示屏12通过导线与预警模块11连接；所述汽车音响设备13的一端通过导线与预警模块11连接，汽车音响设备13的另一端通过导线与车载扬声器14连接。2.基于机器视觉雾天行车错失道路标志牌的预警方法，采用如权利要求1所述的预警系统，其特征在于：包括以下步骤步骤一、建立道路交通标志牌识别系统A、建立道路交通标志牌高斯混合模型GMM分类器①红外摄像头采集N张有道路交通标志牌红外道路图像和无道路交通标志牌红外道路图像，并将采集到的图像传输到标志牌识别模块8，其中包括N1张有道路交通标志牌红外道路图像和N2张无道路交通标志牌红外道路图像，N、N1、N2均为自然数，在标志牌识别模块8中建立道路交通标志牌分类器的图像训练集；②对道路交通标志牌分类器的图像训练集中的图像进行二值化、倾斜校正以及缩放尺寸归一化处理，获得统一尺寸的道路交通标志牌分类器的图像训练库；③利用道路交通标志牌分类器的图像训练库离线训练高斯混合模型GMM分类器，高斯混合模型GMM分类器根据道路交通标志牌金属材质的纹理特征、面积特征、轮廓形状特征以及道路交通标志牌直方图特征，按照有无道路交通标志牌对采集的红外道路图像进行分类，获得有道路交通标志牌的图像特征，高斯混合模型GMM分类器建立完成；B、建立用于道路交通标志牌字符分类识别的神经元网络分类器①红外摄像头采集L张道路交通标志牌图像，L为自然数，对获得的道路交通标志牌图像进行直方图均衡化处理、阈值滤波器、查找轮廓算法对其中的字符进行分割，对分割的字符尺寸归一化处理，统一缩小其尺寸至32*16像素；②根据标志牌上的信息，建立汉字网络、字母网络、数字网络、图形符号网络对交通标志牌信息进行分类；利用汉字库CCLIB中的GB2312-80的全部6763个汉字和571个字符，建立交通标志牌的汉字、字母及数字点阵字符库；建立图形样本库，采集K张交通标志牌图像，K为自然数，提取其中的图形标志，根据交通标志牌的图形特点，提取其图形符号建立图形符号点阵图并存入图形样本库中；将汉字、字母及数字点阵字符库和图形样本库合并为标志牌信息识别库；③构建反向传播神经元网络分类器结构a输入层神经元个数对归一化为32*16点阵大小的字符，以每个像素点为一个网格，输入层神经元个数取512；b输出层神经元个数根据不同网络输出层神经元个数分别为：汉字为1000；字母26；数字10；图形符号为500；c隐层层数为一层，单隐层神经元数目计算公式为：式中，h_num为隐层神经元个数，i_num为输入层神经元个数，o_num为输出层神经元个数；d激活函数选用logistic函数形式如下：式中，vj为神经元j的局部域，为隐藏层的输出函数；④人工神经元网络训练将标志牌信息识别库中的汉字、字母、数字和图形四种样本分别输入到对应的神经元网络中，并分别对四个网络进行学习因子、动量因子、误差目标值以及阈值范围的设定，然后进行人工神经元网络的识别训练，输入层到隐层权值或隐层到输出层权值不在设置的阈值范围内，则显示人工神经元网络训练失败，退出训练；输入层到隐层权值和隐层到输出层权值均在设置的阈值范围内，则保存权值，人工神经元网络训练成功；⑤标志牌字符识别将训练获得的权值矩阵输入到相应神经元网络结构的权值矩阵中，将待识别的字符样本以矩阵形式保存到文件夹中，利用训练后神经元网络识别该字符样本的类别，并输出结果；⑥人工神经元网络测试，对识别的准确率进行计算，人工记录输出结果100次以上，并获得训练后神经元网络的识别准确率，如果准确率低于95％，则重复进行步骤④人工神经元网络训练和步骤⑤标志牌字符识别，如果准确率为95％或95％以上，则具有鲁棒性的神经元网络分类器训练完成；步骤二、建立疲劳模式分类器①采集M1名驾驶人在正常驾驶状态下的驾驶行为数据，采集M2名驾驶人在疲劳驾驶状态下的驾驶行为数据，其中，M1、M2均为自然数；②利用特征提取方法提取疲劳驾驶特征参数，采用统计分析的方法获得正常驾驶和疲劳驾驶的特征参数，确定驾驶人视线轨迹、眨眼频率和PERCLOS为疲劳驾驶特征参数；③红外摄像头Ⅱ15跟踪驾驶人视线轨迹，驾驶人眼睛的注视点位置与识别出的交通标志牌位置不一致，则发送驾驶人错失道路交通标志的信号；驾驶人眼睛的注视点位置与识别出的交通标志牌位置一致，则记录驾驶人注视的时间，时间不超过1秒，则发送驾驶人错失道路交通标志的信号；时间超过1秒，则进行下一步；④红外摄像头Ⅱ15记录驾驶人的眨眼频率和眨眼时间，设定眨眼频率阈值范围为2秒次～4秒次,每次眨眼时间阈值范围为0.25秒～0.3秒，记录的驾驶人是眨眼频率或眨眼时间不在给定的阈值范围，则发送驾驶人错失道路交通标志的信号；记录的驾驶人是眨眼频率和眨眼时间均在给定的阈值范围，则进行下一步；⑤根据度量疲劳瞌睡的物理量PERCLOS，对驾驶人取100组正常驾驶状态下的眼睑尺寸获得驾驶人左眼睑平均尺寸LELM和驾驶人右眼睑平均尺寸RELM，单位时间内眼睛闭合程度超过80％的次数np的计算公式为式中，LELJ为第j帧图像的左眼睑尺寸，RELJ为第j帧图像的右眼睑尺寸；单位时间内眼睛睁开程度小于20％所占的比例P80作为PERCLOS的评价标准P80的计算公式为式中，f0为采样频率，TP80为计算时窗大小；度量疲劳瞌睡的物理量PERCLOS的计算公式如下：设定眼睛闭合至80％及80％以上所占的时间阈值为30秒分，红外摄像头Ⅱ15检测到单位时间内眼睛闭合至80％及80％以上所占的时间，超过给定阈值，则发送驾驶人错失道路交通标志的信号；⑥根据正常和疲劳状态下的驾驶行为数据统计，建立疲劳驾驶条件下特征参数值的数据库，利用机器学习的方法构建疲劳模式分类器；步骤三、构建有无雾图像分类器A、建立道路图像支持向量机SVM分类器①红外摄像头采集X张红外道路图像和红外非道路图像，并将采集到的图像传输到有无雾图像分类模块，其中包括X1张红外道路图像和X2张红外非道路图像，X、X1、X2均为自然数，在有无雾图像分类模块中建立道路图像分类器的图像训练库；②通过道路图像分类器的图像训练库离线训练支持向量机SVM分类器，支持向量机SVM分类器根据道路纹理获得道路图像特征，对道路图像和非道路图像分类，并获得红外道路图像特征，道路图像支持向量机SVM分类器建立完成；B、建立有无雾图像分类器①红外摄像头采集Y张不同雾浓度的红外有雾图像和红外无雾图像，其中包括Y1张有雾红外图像和Y2张无雾红外图像，Y、Y1、Y2均为自然数，在有无雾图像分类模块中建立有无雾图像分类器的图像训练库；②通过有无雾图像分类器的图像训练库离线训练高斯混合模型GMM分类器，高斯混合模型GMM分类器根据有雾图像灰度值频率特征，提取有雾图像和无雾图像的一维灰度直方图图像特征，并根据图像的直方图对有雾图像和无雾图像进行分类，有无雾图像高斯混合模型GMM分类器建立完成；③通过有无雾图像分类器的图像训练库离线训练支持向量机SVM分类器，支持向量机SVM分类器根据有雾图像和无雾图像的傅里叶变换频率特征，对有雾图像和无雾图像进行分类，并提取有雾图像和无雾图像的傅里叶变换频率特征，有无雾图像支持向量机SVM分类器建立完成；将有无雾图像高斯混合模型GMM分类器分类出的有雾图像和有无雾图像支持向量机SVM分类器分类出的有雾图像取并集，得到有雾图像样本库；步骤四、建立图像去雾模型①大气光学模型为Ix＝Jxe-βd+A1-e-βd，Ix为分类后的有雾图像，Jx为去雾之后的清晰图像，A为全球大气光成分，e-βd为大气透射率值t，β为大气消光系数，d为能见度值；②取有雾道路图像在红绿蓝RGB三通道图像中的最小通道灰度图像，然后再对获取的灰度图像做最小值滤波，获得有雾图像暗通道：其中，Jdark是指J的暗通道，JC表示彩色图像的每个通道，C为RGB三通道；Ω为有所有像素的整个图像窗口，为整个图像窗口所有像素中的最小值像素，为整个图像窗口每个像素RGB三个通道分量的最小像素值；③从暗通道图像中按照亮度大小取前0.1％的像素，然后在原始有雾图中寻找对应的具有最高亮度的点的值，作为大气光的成分值A；④处理大气光学模型，形式如下：Ix＝Jxe-βd+A1-e-βd其中C为RGB三通道，对上式两端求暗通道即对上式两边求两次最小值运算，再利用暗通道灰度值接近零，因此，可推导出：其中t为大气透射率值，由于雾的存在使人感到景深的存在，因此在中引入一个[0,1]之间的因子ω，获得大气透射率图，⑤得到透射率图的边缘和纹理细节都有损失，采用中值滤波器对透射率图进行边缘保持的滤波器优化,获得细化透射率图；⑥设置阈值t0，当t值小于t0时，令t＝t0,以t0＝0.1为标准，将处理后的三通道图像合成，恢复出去雾后的清晰图像Jx，步骤五、构建道路标志识别预警策略①红外摄像头Ⅰ3采集实时图像在车辆行进过程中，红外摄像头Ⅰ3采集实时图像，并将采集到的图像依次输入到有无雾图像分类器和图像去雾模型，对有雾图像进行图像去雾；②将去雾后的图像或者实时无雾图像输入到道路交通标志牌识别系统，将获得的道路交通标志牌图像作为输入，传输到标志牌字符识别模块9，在标志牌字符识别模块9中将道路交通标志牌图像进行图像分割预处理后，利用离线训练完成的神经元网络分类器进行字符识别；识别后的道路交通标志信息，输入预警模块11并通过车载扬声器14发出声音警告并在车载显示屏12上显示该道路交通标志信息；③红外摄像头Ⅱ15采集驾驶人视线注视点、注视时间、眨眼频率和PERCLOS输入至疲劳模式分类器，驾驶人视线注视点、注视时间、眨眼频率、PERCLOS均在给定阈值范围内，则不提供给驾驶员预警信息；驾驶人视线注视点、注视时间、眨眼频率或PERCLOS不在给定阈值范围内，则预警模块11通过车载扬声器14发出声音警告并在车载显示屏上显示该道路交通标志信息。3.根据权利要求2所述的基于机器视觉雾天行车错失道路标志牌的预警方法，其特征是：所述步骤一中的N≥3000，N1≥1000，N2≥2000。4.根据权利要求2所述的基于机器视觉雾天行车错失道路标志牌的预警方法，其特征是：所述步骤一中的L≥1000，K≥2000。5.根据权利要求2所述的基于机器视觉雾天行车错失道路标志牌的预警方法，其特征是：所述步骤二中的M1≥50，M2≥50。6.根据权利要求2所述的基于机器视觉雾天行车错失道路标志牌的预警方法，其特征是：所述步骤三中的X≥3000，X1≥1000，X2≥2000。7.根据权利要求2所述的基于机器视觉雾天行车错失道路标志牌的预警方法，其特征是：所述步骤三中的Y≥3000，Y1≥1000，Y2≥2000。

百度查询： 吉林大学 基于机器视觉雾天行车错失道路标志牌的预警系统及方法