买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东北大学

摘要：本发明提供一种基于Haar‑NMF特征和级联Adaboost分类器的脱岗检测方法，涉及视频信号处理技术领域。该方法采用低维Haar‑NMF特征代替传统的Haar特征，Haar‑NMF特征可以很好地表征图像中局部区域的特征，如在岗人员的头部和肩部特征，满足检测方法对检测准确率的要求；采用级联Adaboost分类器代替基本的Adaboost分类器，提高了检测的准确率并减少运算量，满足了检测方法对检测速度的要求。并针对检测过程中的漏检问题和误检问题进行优化，提高了检测方法的整体性能。本发明提供的基于Haar‑NMF特征和级联Adaboost分类器的脱岗检测方法，在保证检测成功率的基础上，缩短了样本的训练和检测的时间，并且通过增加分类器的级数提高了检测方法的部分性能，同时提高了检测速度。

主权项：1.一种基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法，其特征在于：包括以下步骤：步骤1、制作训练样本集；步骤2、提取训练样本集中正样本和负样本图片中人体头肩部的Haar-NMF特征；步骤3、通过基本分类器Gmx及其权重系数αm加权组成单级强分类器Gx，然后将多个单级强分类器Gx串联组成级联Adaboost分类器，并将步骤2提取的训练样本的Haar-NMF特征输入该级联Adaboost分类器进行训练，得到保存训练结果的.xml文件；步骤4、对级联Adaboost分类器训练结果进行初步测试，具体方法为：对输入的测试图片首先提取出测试图片的Haar-NMF特征，然后将提取的Haar-NMF特征输入步骤3训练的级联Adaboost分类器进行检测，利用保存训练结果的.xml文件进行检测，检测结果存在一定的误检和漏检；步骤5、根据检测结果对级联Adaboost分类的测试结果进行优化，具体方法为：根据测试结果进行优化：针对漏检问题，采用各补充2000张正负样本再次训练的方法进行解决；针对误检问题，在程序算法设计中，除了通过使用训练好的分类器进行判断之外，根据相邻视频帧的帧间关系补充了状态机的判定方法，在一定程度上有效的抑制误报，正确判定人员是否离岗；步骤6、根据优化的结果调整脱岗检测方法的训练过程和检测过程，并进行脱岗检测；所述训练样本集包括3000张正样本和4000张负样本；所述训练样本集来自三方面：一是监控运转室的录像，二是手机摄像头采集的实验室工位图片，三是CVC标准行人检测数据集；从这三部分中选取正负样本的图片，所述正样本选取包含人的头部和肩部的图片，所述负样本主要选取不同的室内背景图片；所述步骤2的具体方法为：步骤2.1、提取训练样本集中正样本和负样本图片中人体头肩部的长度为L的Haar特征向量T，将其取绝对值后转化为m×n的矩阵A，其中L＝m×n，mn；步骤2.2、对转化后的矩阵A进行秩为r的NMF分解，如下公式所示：A＝W×KT1其中，W和K分别为m×r和n×r的非负的基矩阵和系数矩阵，且满足r＜＜m；步骤2.3、对矩阵W和K的每一个列向量按如下公式进行归一化处理，即 步骤2.4、将所有的ia级联得到原Haar特征向量对应的Haar-NMF特征向量；所述步骤3的具体方法为：步骤3.1、对训练数据的权重进行初始化，给每一个训练样本赋予同样的权值，得到训练数据的权重矩阵Dm，如下公式所示：Dm＝wm1,wm2,…wmi…,wmN3其中，N为训练样本的图片总数；步骤3.2、使用具有权值分布Dm的训练数据集学习，选取使误差率最低的阈值设计第m个基本分类器Gmx，m＝1、2、…、M，M为单级强分类器中基本分类器的个数，如下公式所示：Gmx：x→[-1，+1}4步骤3.3、计算基本分类器在训练数据集上的分类误差率，如下公式所示： 其中，em为第m个基本分类器Gmx在训练数据集上的分类误差率；步骤3.4、计算出各个基本分类器在单级强分类器中所占的权重αm，αm表示不同的基本分类器Gmx在单级强分类器中的重要程度，如下公式所示： 步骤3.5、更新训练数据集的权值分布，得到用于下一轮迭代的样本新的权值分布，如下公式所示：Dm+1＝wm+1,1,wm+1,2,wm+1,N7其中，通过如下公式所示的规范化因子Zm使Dm+1成概率分布： 步骤3.6、重复执行步骤3.2-3.5进行M次迭代运算，得到M个基本分类器；步骤3.7、将多次迭代得到的M个基本分类器按照权重进行加权求和组成单级强分类器，进行加权求和输出数值结果的过程如下公式所示： 将fx得到的数值进行sign运算得到的单级强分类器的判别结果如下公式所示： 其中，Gx为单级强分类器的判别结果，Gx＝+1表示有人，Gx＝-1表示没人；最后将多个单级强分类器串联构成级联Adaboost分类器，将步骤2提取的训练样本的Haar-NMF特征训练级联Adaboost分类器，得到保存训练结果的.xml文件；步骤5所述相邻视频帧帧间关系状态机的判定方法为：1当检测不到人时，首先在图像中找人，当检测到一帧图像中有人时，继续检测进行确认，当检测到与该帧图像相邻的连续5帧图像中有3帧中有人或者连续5帧有3帧画面中存在移动时，则判定画面中有人，即值班人员在岗，否则确认有人失败，值班人员脱岗；2当连续检测到有人状态，突然某一帧无法检测到人，则继续在视频序列中找人确认是否的确没人，当接下来的连续5帧图像中有2帧检测不到有人或者连续5帧有4帧没有检测到存在移动时，则认定视频中没有人，否则值班人员在岗；所述步骤6的具体方法为：步骤6.1、补充正负样本图片对步骤3中的级联Adaboost分类器重新训练，训练样本选择5000张正样本和6000张负样本，训练样本集来自三方面：一是来自于铁路监控运转室的录像，二是手机摄像头采集的实验室工位图片，三是CVC标准行人监测数据集；步骤6.2、进行脱岗检测，具体方法为：输入需要检测的视频流，并将输入的视频流分解为单帧图片，图片大小为1280*720，首先根据相邻视频帧的帧间关系进行状态机判定，然后使用训练结果.xml文件检测当前视频帧，用滑动窗口进行Haar-NMF特征提取，其中检测子窗口的大小为30×30，步长为8，将提取的Haar-NMF特征输入步骤3训练的级联Adaboost分类器进行检测，加载入多个测试视频，测试视频的帧率为30fps，清晰度为720p，与单帧图片检测结果类似，测试时会出现部分的误检和虚位。

全文数据：基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法技术领域本发明涉及视频信号处理技术领域，尤其涉及一种基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法。背景技术计算机视觉的主要任务是通过对采集的图片或视频进行处理从而获得特定场景需要的特定信息。近些年来计算机视觉一直是国内外学者的研究重点，而图像分类和识别是其中最具实用性的研究领域，行人检测和识别则是该领域中应用最广、研究最多的方向之一。伴随着“智慧校园”、“平安城市”等新兴科技项目的快速发展，智能化、网络化、数字化愈来愈成为现代工业的主要发展趋势，人们把计算机视觉的相关算法引入传统的视频监控中，智能视频监控系统应运而生。智能视频监控的研究对象为监控视频中的行人、车辆或其他物体，通过对视频中的运动目标进行实时检测、跟踪和行为分析，使得系统能够自动提取出我们需要的信息。近些年来，国防、安防、消防等高危化行业的岗位执勤工作日益受到重视，因此设计并实现一套可用于检测值班室人员是否脱岗的系统具有十分现实的意义。由于值班人员的“空岗”往往会造成不可估量的损失，脱岗检测就显得尤为重要。早期一般是通过指派专人不定期的查岗来进行脱岗检测，但这种方式实时性很差，难以第一时间处理突发状况并且查岗耗费太多不必要的人力和时间。研究脱岗检测算法具有十分现实的意义，孕藏着极大的商业价值。脱岗检测技术的方法论是基于机器学习中统计学习的方法，设计一个完整成熟的脱岗检测系统必须要解决一些关键问题，包括适应行人姿态变化的多样性、单一场景下对行人和背景的分辨性和检测的准确性和实时性等，其中在工程化和商业化的过程中最需要解决的问题就是如何同时兼顾检测的准确率和检测速度，设计并实现一种特定场景下满足特定需求的脱岗检测算法。在解决检测速度和检测准确率的问题时，由于对检测准确性的高要求通常使得算法处理的过程中消耗了大量时间，而对于脱岗检测这种单一场景下单一目标检测的情况，对于区分有人和没人的情况不需要过于复杂的训练过程和算法，因此，主要需要解决的问题就是检测速度的问题，这也是目前所有的脱岗检测的应用急需解决的问题。现阶段，国外科研机构以及一些独立研究人员在行人检测技术方面的研究已经获得了一定成果，很多高校和科研机构都有了较为成熟的行人检测系统，例如加利福尼亚理工学院、麻省理工大学、戴姆勒公司UlmR&D中心、FacebookAI研究中心等都有了突出的研究成果。每年在一些国际顶尖会议上其中包括国际计算机视觉大会ICCV、计算机视觉与模式识别会议CVPR、欧洲计算机视觉国际会议ECCV等都会举行行人检测方面的专题会议，汇报在该领域已取得的研究进展及成果，探讨行人检测日后的研究方向。与此同时，每年都会有大量高质量、高水平，理论性、创新性、实用性兼具的学术文章被刊登在该领域极具影响力的国际期刊上，譬如模式分析与机器智能汇刊PAMI、计算机视觉国际期刊IJCV等等。过去的十几年来，不断有新的想法被引入到行人检测当中，这也使得行人检测领域的计算机视觉算法被不断推进和更新。论文“ATrainableSystemforObjectDetection”Papageorgio等，JournalofComputerVision，2012，381：15-33.提出了第一个滑动窗口检测器，把支持向量机SVM应用到了到多尺度Haar小波的过完备库中。论文“RobustReal-TimeFaceDetection”Viola等，InternationalJournalofComputerVision，2014，572：137-154.基于这些想法，引入了用于快速特征计算的积分图像和用于有效检测的级联结构，并且利用Adaboost进行自动特征选择。这些思路直到如今也一直是工程使用的目标检测的方法。除了梯度特征，形状特征和运动特征也被频繁地纳入了行人检测的研究中，但研究结果发现，几乎没有单个特征能明显优于HOG特征。尽管如此，附加特征可以提供补充信息，这对于优化检测性能也有一定的好处。论文“APerformanceEvaluationofSingleandMulti-FeaturePeopleDetection”Woiek等，ComputerVisionandPatternRecognition，2012：1491-1498.就证明了Haar-like特征，时间序列shapelets，形状上下文和HOG特征的组合优于单个HOG特征。经过几十年以来国内外专家学者不懈的努力探索和研究，目前行人检测技术在算法上已经有了很大突破，在室内等背景环境较为固定的场所，检测效果已相当良好。由于检测易受光照等环境因素的制约，例如在复杂背景以及光线变换较为剧烈的室外条件下，检测效果就受到了明显影响。此外，行人在运动过程中姿势会不断变化，在静止或运动过程中受到不同程度的遮挡，这些对行人检测来说都是比较难解决的问题。因此行人检测技术依然面临着严峻的挑战，但这也同样意味着行人检测技术在未来相当长的一段时间内依然有充足的发展空间。目前对工程上目标识别的技术进行优化的方法大致可以分为两类，一类是对特征的改进，另一类是对分类器的改进。改进的目的主要是实现提取出的特征和对特征进行训练和检测的分类器能够尽可能的提取出需要检测的目标的特征，同时还能够尽可能地降低算法的复杂度，减少特征提取和分类计算的时间，提高检测的速度，在检测准确度和检测速度来两方面进行折中，满足特定场景下的特定需求，实现不同场景下的场景匹配性和场景适用性。目前工程上脱岗检测最常用的方法是基于特征提取+分类器的方法，尽管很多算法已经产业化，但也存在一些问题，归纳起来有如下几点：1行人姿态变化的多样性：由于行人是非刚性物体，衣着服饰各不相同，且行人或行走或静止，或站立或蹲下，姿态各异。目前现存的行人检测方法在多样性变换方面适应性较差。2行人检测场景的复杂性：复杂的背景、不同行人尺度以及不同的光照环境也给行人检测带来较大的困难。图像中的行人往往并非独立的个体而和复杂背景融为一体，难以单独分离。在实际环境中，行人经常受到其他行人或物体的遮挡，并且背景中存在的物体也会影响行人检测的准确性。此外，现实场景中不同的光照度变化以及背景环境中大量类似人的身体轮廓的物体存在，这些都使行人检测的发展受到一定程度的限制。3行人检测的准确性、实时性及鲁棒性：由于行人检测具有现实的应用价值，故在实际应用中需要考虑到同时满足准确性和实时性的要求。这就意味着设计的算法不能过于复杂，图像处理时间不能太长。实际的系统设计中，由于对检测准确性的高要求通常使得算法处理的过程中消耗了大量时间，这也是目前亟待解决的问题之一。此外。在某种程度上检测的算法越复杂，对机器设备的硬件要求也会越高。除了上述难题之外，脱岗检测还面临的问题还有很多，例如提取的特征在特征空间中的分布不够紧凑、分类器的性能受训练样本的影响较大、离线训练时的负样本无法涵盖所有真实应用场景等等。发明内容针对现有技术的缺陷，本发明提供一种基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法，实现对工程中值班室人员的脱岗问题进行检测。基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法，包括以下步骤：步骤1、制作训练样本集；所述训练样本集包括3000张正样本和4000张负样本；所述训练样本集来自三方面：一是监控运转室的录像，二是手机摄像头采集的实验室工位图片，三是CVC标准行人检测数据集；从这三部分中选取正负样本的图片，所述正样本选取包含人的头部和肩部的图片，所述负样本主要选取不同的室内背景图片；步骤2、提取训练样本集中正样本和负样本图片中人体头肩部的Haar-NMF特征，具体方法为：步骤2.1、提取训练样本集中正样本和负样本图片中人体头肩部的长度为L的Haar特征向量T，将其取绝对值后转化为m×n的矩阵A，其中L＝m×n，m＞n；步骤2.2、对转化后的矩阵A进行秩为r的NMF分解，如下公式所示：A＝W×KT1其中，W和K分别为m×r和n×r的非负的基矩阵和系数矩阵，且满足r＜＜m；步骤2.3、对矩阵W和K的每一个列向量按如下公式进行归一化处理，即步骤2.4、将所有的ia级联得到原Haar特征向量对应的Haar-NMF特征向量；步骤3、通过基本分类器Gmx及其权重系数αm加权组成单级强分类器Gx，然后将多个单级强分类器Gx串联组成级联Adaboost分类器，并将步骤2提前的训练样本的Haar-NMF特征输入该级联Adaboost分类器进行训练，得到保存训练结果的.xml文件，具体方法为：步骤3.1、对训练数据的权重进行初始化，给每一个训练样本赋予同样的权值，得到训练数据的权重矩阵Dm，如下公式所示：Dm＝wm1，wm2，…wmi…，wmN3其中，N为训练样本的图片总数；步骤3.2、使用具有权值分布Dm的训练数据集学习，选取使误差率最低的阈值设计第m个基本分类器Gmx，m＝1、2、…、M，M为单级强分类器中基本分类器的个数，如下公式所示：Gmx：x→{-1，+1}4步骤3.3、计算基本分类器在训练数据集上的分类误差率，如下公式所示：其中，em为第m个基本分类器Gmx在训练数据集上的分类误差率；步骤3.4、计算出各个基本分类器在单级强分类器中所占的权重αm，αm表示不同的基本分类器Gmx在单级强分类器中的重要程度，如下公式所示：步骤3.5、更新训练数据集的权值分布，得到用于下一轮迭代的样本新的权值分布，如下公式所示：Dm+1＝wmm+1，1，wm+1，2，wm+1，N7其中，通过如下公式所示的规范化因子Zm使Dm+1成概率分布：步骤3.6、重复执行步骤3.2-3.5进行M次迭代运算，得到M个基本分类器；步骤3.7、将多次迭代得到的M个基本分类器按照权重进行加权求和组成单级强分类器，进行加权求和输出数值结果的过程如下公式所示：将fx得到的数值进行sign运算得到的单级强分类器的判别结果如下公式所示：其中，Gx为单级强分类器的判别结果，Gx＝+1表示有人，Gx＝-1表示没人；最后将多个单级强分类器串联构成级联Adaboost分类器，将步骤2提前的训练样本的Haar-NMF特征训练级联Adaboost分类器，得到保存训练结果的.xml文件；步骤4、对级联Adaboost分类器训练结果进行初步测试，具体方法为：对输入的测试图片首先提取出测试图片的Haar-NMF特征，然后将提取的Haar-NMF特征输入步骤3训练的级联Adaboost分类器进行检测，利用保存训练结果的.xml文件进行检测，检测结果存在一定的误检和漏检；步骤5、根据检测结果对级联Adaboost分类的测试结果进行优化，具体方法为：根据测试结果进行优化：针对漏检问题，采用各补充2000张正负样本再次训练的方法进行解决；针对误检问题，在程序算法设计中，除了通过使用训练好的分类器进行判断之外，根据相邻视频帧的帧间关系补充了状态机的判定方法，在一定程度上有效的抑制误报，正确判定人员是否离岗；所述相邻视频帧帧间关系状态机的判定方法为：1当检测不到人时，首先在图像中找人，当检测到一帧图像中有人时，继续检测进行确认，当检测到与该帧图像相邻的连续5帧图像中有3帧中有人或者连续5帧有3帧画面中存在移动时，则判定画面中有人，即值班人员在岗，否则确认有人失败，值班人员脱岗；2当连续检测到有人状态，突然某一帧无法检测到人，则继续在视频序列中找人确认是否的确没人，当接下来的连续5帧图像中有2帧检测不到有人或者连续5帧有4帧没有检测到存在移动时，则认定视频中没有人，否则值班人员在岗；步骤6、根据优化的结果调整脱岗检测方法的训练过程和检测过程，并进行脱岗检测，具体方法为：步骤6.1、补充正负样本图片对步骤3中的级联Adaboost分类器重新训练，训练样本选择5000张正样本和6000张负样本，训练样本集来自三方面：一是来自于铁路监控运转室的录像，二是手机摄像头采集的实验室工位图片，三是CVC标准行人监测数据集；步骤6.2、进行脱岗检测，具体方法为：输入需要检测的视频流，并将输入的视频流分解为单帧图片；首先根据相邻视频帧的帧间关系进行状态机判定，然后使用训练结果.xml文件检测当前视频帧，用滑动窗口进行Haar-NMF特征提取，其中检测子窗口的大小为30×30，步长为8，将提取的Haar-NMF特征输入步骤3训练的级联Adaboost分类器进行检测，加载入多个测试视频，测试视频的帧率为30fps，清晰度为720p，与单帧图片检测结果类似，测试时会出现部分的误检和虚位。由上述技术方案可知，本发明的有益效果在于：本发明提供的基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法，1基于统计学习的思想，针对工程上常用的HOG特征结合SVM分类器的方法存在算法复杂度过高的缺陷，提出Haar-NMF特征结合级联Adaboost的算法训练头肩分类器，经过数次训练后得到的各弱分类器根据训练过程中的权值组成一个加权的强分类器，该分类器具有较高的学习效率，检测速度有明显提升。2脱岗检测算法检测的是人体头肩部而非全身。考虑到值班室的监控环境，如果选取值班室人员的全身区域进行检测，则很容易有部分身体被遮挡且姿势会比较复杂，而头肩部的形状相比于躯干具有更好的刚性，姿势相对单一且较不易被遮挡，所以头肩部对人的全身具有很好的代表性。3使用降维的Haar-NMF特征代替Haar特征的以减少计算量，提高检测速度的同时保证检测准确率。4采用级联Adaboost分类器代替单级的分类器结构以提高检测的准确性的同时提高检测速度，采用级联分类器的好处有两点：一是通过多个基础分类器的级联形成一个强的级联分类器，能够提高检测的准确率；二是可以减少运算量，级联Adaboost分类器的级联思想保证了可以快速抛弃掉没有目标的平滑窗，从而提高了检测效率，满足了实时性的需求。5针对存在的漏检和误检问题，采用补充正负训练样本和增加帧间关系判别器的方法，在训练过程中能够提取出更加准确的特征信息并且在检测时能够根据视频流的帧间关系辅助判别结果，提高了检测方法的整体性能。附图说明图1为本发明实施例提供的基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法的流程图；图2为本发明实施例提供的包含8个基本分类器的单级强分类器示意图；图3为本发明实施例提供的对级联Adaboost分类器训练结果进行初步测试的示意图；图4为本发明实施例提供的视频帧间关系检测状态机的示意图。具体实施方式下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法，如图1所示，包括以下步骤：步骤1、制作训练样本集；所述训练样本集包括3000张正样本和4000张负样本；所述训练样本集来自三方面：一是监控运转室的录像，二是手机摄像头采集的实验室工位图片，三是CVC标准行人检测数据集；从这三部分中选取正负样本的图片，所述正样本选取包含人的头部和肩部的图片，所述负样本主要选取不同的室内背景图片。步骤2、提取训练样本集中正样本和负样本图片中人体头肩部的Haar-NMF特征，具体方法为：步骤2.1、提取训练样本集中正样本和负样本图片中人体头肩部的长度为L的Haar特征向量T，将其取绝对值后转化为m×n的矩阵A，其中L＝m×n，m＞n；本实施例中，对训练样本归一化后，得到L＝122512，m＝4712，n＝26。步骤2.2、对转化后的矩阵A进行秩为r的NMF分解，如下公式所示：A＝W×KT1其中，W和K分别为m×r和n×r的非负的基矩阵和系数矩阵，且满足r＜＜m，可取r＝3；步骤2.3、对矩阵W和K的每一个列向量按如下公式进行归一化处理，即步骤2.4、将所有的ia级联得到原Haar特征向量对应的Haar-NMF特征向量；步骤3、通过基本分类器Gmx及其权重系数αm加权组成单级强分类器Gx，然后将多个单级强分类器Gx串联组成级联Adaboost分类器，并将步骤2提前的训练样本的Haar-NMF特征输入该级联Adaboost分类器进行训练，得到保存训练结果的.xml文件，具体方法为：步骤3.1、对训练数据的权重进行初始化，给每一个训练样本赋予同样的权值，得到训练数据的权重矩阵Dm，如下公式所示：Dm＝wm1，wm2，…wmi…，wmN3其中，N为训练样本的图片总数；步骤3.2、使用具有权值分布Dm的训练数据集学习，选取使误差率最低的阈值设计第m个基本分类器Gmx，m＝1、2、…、M，M为单级强分类器中基本分类器的个数，如下公式所示：Gmx：x→{-1，+1}4步骤3.3、计算基本分类器在训练数据集上的分类误差率，如下公式所示：其中，em为第m个基本分类器Gmx在训练数据集上的分类误差率；步骤3.4、计算出各个基本分类器在单级强分类器中所占的权重αm，am表示不同的基本分类器Gmx在单级强分类器中的重要程度，如下公式所示：步骤3.5、更新训练数据集的权值分布，得到用于下一轮迭代的样本新的权值分布，如下公式所示：Dm+1＝wmn+1，1，wm+1，2，wm+1，N7其中，通过如下公式所示的规范化因子Zm使Dm+1成概率分布：Adaboost是通过增大基本分类器Gmx误分类样本的权值以及减小正确分类样本的权值来重点关注那些比较难区分的样本，式8中Zm是规范化因子，使得Dm+1成为一个概率分布：步骤3.6、重复执行步骤3.2-3.5进行M次迭代运算，得到M个基本分类器；步骤3.7、将多次迭代得到的M个基本分类器按照权重进行加权求和组成单级强分类器，进行加权求和输出数值结果的过程如下公式所示：将fx得到的数值进行sign运算得到的单级强分类器的判别结果如下公式所示，其中Gx＝+1表示有人Gx＝-1表示没人：其中，Gx为单级强分类器的判别结果，Gx＝+1表示有人，Gx＝-1表示没人；最后将多个单级强分类器串联构成级联Adaboost分类器，将步骤2提前的训练样本的Haar-NMF特征训练级联Adaboost分类器，得到保存训练结果的.xml文件。本实施例中，14个单级强分类器串联构成级联的Adaboost分类器，其中每个单级强分类器包括8个基本分类器，如图2所示。步骤4、对级联Adaboost分类器训练结果进行初步测试，如图3所示，具体方法为：输入测试图片，其中包括1000张在720P的视频流中切出的单帧图片，图片大小为1280*720，其中检测子窗口的大小为30×30，步长为8，对输入的测试图片首先提取出测试图片的Haar-NMF特征，然后将步骤2提取的Haar-NMF特征输入步骤3训练的级联Adaboost分类器进行检测，利用保存训练结果的.xml文件进行检测，检测结果存在一定的误检和漏检；步骤5、根据检测结果对级联Adaboost分类的测试结果进行优化，具体方法为：根据测试结果进行优化：针对漏检问题，采用各补充2000张正负样本再次训练的方法进行解决；针对误检问题，在程序算法设计中，除了通过使用训练好的分类器进行判断之外，根据相邻视频帧的帧间关系补充了状态机的判定方法，在一定程度上有效的抑制误报，正确判定人员是否离岗；所述相邻视频帧帧间关系状态机的判定，如图4所示，具体方法为：1当检测不到人时，首先在图像中找人，当检测到一帧图像中有人时，继续检测进行确认，当检测到与该帧图像相邻的连续5帧图像中有3帧中有人或者连续5帧有3帧画面中存在移动时，则判定画面中有人，即值班人员在岗，否则确认有人失败，值班人员脱岗；2当连续检测到有人状态，突然某一帧无法检测到人，则继续在视频序列中找人确认是否的确没人，当接下来的连续5帧图像中有2帧检测不到有人或者连续5帧有4帧没有检测到存在移动时，则认定视频中没有人，否则值班人员在岗。实际检测中，当显示检测结果的屏幕显示AffirmNoPeople确认没人、PeopleInPic有人状态时字幕都呈绿色，而显示AffirmPeople确认有人、NoPeopleInPic没人状态时字幕则呈橘色，当NoPeopleInPic没人状态持续超过一分钟时，字幕变成红色，采用本发明的检测方法的检测系统自动报警，同时检测系统自动将此时的脱岗图片存放到程序中指定的报警图片文件夹。步骤6、根据优化的结果调整脱岗检测方法的训练过程和检测过程，并进行脱岗检测，具体方法为：步骤6.1、补充正负样本图片对步骤3中的级联Adaboost分类器重新训练，训练样本选择5000张正样本和6000张负样本，训练样本集来自三方面：一是来自于铁路监控运转室的录像，二是手机摄像头采集的实验室工位图片，三是CVC标准行人监测数据集；步骤6.2、进行脱岗检测，具体方法为：输入需要检测的720p视频流，并将输入的视频流分解为单帧图片，图片大小为1280*720，首先根据相邻视频帧的帧间关系进行状态机判定，然后使用训练结果.xml文件检测当前视频帧，用滑动窗口进行Haar-NMF特征提取，其中检测子窗口的大小为30×30，步长为8，将步骤2提取的Haar-NMF特征输入步骤3训练的级联Adaboost分类器进行检测，加载入多个测试视频，测试视频的帧率为30fps，清晰度为720p，与单帧图片检测结果类似，测试时会出现部分的误检和虚位。本实施例中，测试平台为VisualStudio2012，测试计算机配置为InterCorei7-7700k，内存为16GB，GPU为6GB的GTX1060。本实施例分别对本发明的基于Haar-NMF特征的级联Adaboost分类器和基于Haar的级联Adaboost分类器进行训练和检测，分类器均为10级，每级分类器包含8个基本分类器，其中检测子窗口的大小为30×30，步长为8，使用Haar-NMF特征训练的时间明显小于Haar特征的训练时间，加载1000张图片进行测试，测试图片大小为1280*720，检测效果对比结果如表1所示。表1特征训练时间与检测率对比特征训练时间h检测率％Haar特征6.589.8Haar-NMF特征2.189.1由表1可以得出，使用Haar-NMF特征与使用Haar特征进行训练相比，训练时间大大降低，但是训练的结果检测率并没有很大的下降，得出结论，使用Haar-NMF特征可以有效地降低算法的复杂度，提升系统训练和检测的速度。随后进行了多次正负样本的补充，最终使用的正样本数为5000个，负样本数为6000张，对本发明的基于Haar-NMF特征的级联Adaboost分类器进行训练和检测，增加正负样本训练后检测效果有所提升，实验证明补充样本后的检测效果有所改善，检测率由原来的88.1％提升为90.7％，最终测试结果如表2所示。表2特征训练时间与检测率对比Haar-NMF特征训练时间h检测率％正样本3000张，负样本4000张2.189.1正样本5000张，负样本6000张4.890.7为了进一步改善分类性能，本设计对级联分类器也进行了多次调试，级数由原来的10级提高至12级并最终增至16级，其对比结果见表3所示：表3不同分类器级数训练时间与检测率对比级数训练时间h检测率％10级4.890.712级1691.214级4091.616级7491.8采用14级级联Adaboost分类器分别对Haar特征和Haar-NMF特征进行训练，得到的检测时间与检测率如表4所示。表414级分类器训练时间与检测率对比特征训练时间h检测率％Haar特征10791.1Haar-NMF特征4091.6通过表3和表4的实验结果可以得出，提高分类器计数能在一定程度上提升检测率，对分类性能有所改善，分类器的级数增加会在一定程度上优化分类效果，但是随着分类器级数的增加，训练所需的时间显著增加，但是对检测效果准确率的提升并不是很明显。运用Haar-NMF特征进行训练和检测与运用Haar特征相比，在有着很好的检测率的同时大幅度地降低了训练时间。通过上述的实验和对比测试，确定了本发明基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法的具体参数，本发明中用于训练和检测的特征选取为对Haar进行非负矩阵分解的Haar-NMF特征，分类器使用对原有Adaboost分类器进行级联改造的级联Adaboost分类器，其中每一级Adaboost分类器包含8个弱分类器，级联14级，训练样本选择5000张正样本和6000张负样本，训练样本集来自三方面：一是来自于铁路监控运转室的录像，二是手机摄像头采集的实验室工位图片，三是CVC标准行人监测数据集。最后利用此方法对视频流进行检测，加载入多个测试视频，测试视频的帧率为30fps，清晰度为720p，测试时会出现部分的误检和虚位，与单帧图片检测结果类似。最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

权利要求：1.一种基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法，其特征在于：包括以下步骤：步骤1、制作训练样本集；步骤2、提取训练样本集中正样本和负样本图片中人体头肩部的Haar-NMF特征；步骤3、通过基本分类器Gmx及其权重系数αm加权组成单级强分类器Gx，然后将多个单级强分类器Gx串联组成级联Adaboost分类器，并将步骤2提前的训练样本的Haar-NMF特征输入该级联Adaboost分类器进行训练，得到保存训练结果的.xml文件；步骤4、对级联Adaboost分类器训练结果进行初步测试，具体方法为：对输入的测试图片首先提取出测试图片的Haar-NMF特征，然后将提取的Haar-NMF特征输入步骤3训练的级联Adaboost分类器进行检测，利用保存训练结果的.xml文件进行检测，检测结果存在一定的误检和漏检；步骤5、根据检测结果对级联Adaboost分类的测试结果进行优化，具体方法为：根据测试结果进行优化：针对漏检问题，采用各补充2000张正负样本再次训练的方法进行解决；针对误检问题，在程序算法设计中，除了通过使用训练好的分类器进行判断之外，根据相邻视频帧的帧间关系补充了状态机的判定方法，在一定程度上有效的抑制误报，正确判定人员是否离岗；步骤6、根据优化的结果调整脱岗检测方法的训练过程和检测过程，并进行脱岗检测。2.根据权利要求1所述的基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法，其特征在于：所述训练样本集包括3000张正样本和4000张负样本；所述训练样本集来自三方面：一是监控运转室的录像，二是手机摄像头采集的实验室工位图片，三是CVC标准行人检测数据集；从这三部分中选取正负样本的图片，所述正样本选取包含人的头部和肩部的图片，所述负样本主要选取不同的室内背景图片。3.根据权利要求1所述的基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法，其特征在于：所述步骤2的具体方法为：步骤2.1、提取训练样本集中正样本和负样本图片中人体头肩部的长度为L的Haar特征向量T，将其取绝对值后转化为m×n的矩阵A，其中L＝m×n，m＞n；步骤2.2、对转化后的矩阵A进行秩为r的NMF分解，如下公式所示：A＝W×KT1其中，W和K分别为m×r和n×r的非负的基矩阵和系数矩阵，且满足r＜＜m；步骤2.3、对矩阵W和K的每一个列向量按如下公式进行归一化处理，即步骤2.4、将所有的ia级联得到原Haar特征向量对应的Haar-NMF特征向量。4.根据权利要求1所述的基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法，其特征在于：所述步骤3的具体方法为：步骤3.1、对训练数据的权重进行初始化，给每一个训练样本赋予同样的权值，得到训练数据的权重矩阵Dm，如下公式所示：Dm＝wm1，wm2，…wmi…，wmN3其中，i＝1、2、…、N，N为训练样本的图片总数；步骤3.2、使用具有权值分布Dm的训练数据集学习，选取使误差率最低的阈值设计第m个基本分类器Gmx，m＝1、2、…、M，M为单级强分类器中基本分类器的个数，如下公式所示：Gmx：x→{-1，+1}4步骤3.3、计算基本分类器在训练数据集上的分类误差率，如下公式所示：其中，em为第m个基本分类器Gmx在训练数据集上的分类误差率；步骤3.4、计算出各个基本分类器在单级强分类器中所占的权重αm，αm表示不同的基本分类器Gmx在单级强分类器中的重要程度，如下公式所示：步骤3.5、更新训练数据集的权值分布，得到用于下一轮迭代的样本新的权值分布，如下公式所示：Dm+1＝wm+1，1，wm+1，2，wm+1，N7其中，通过如下公式所示的规范化因子Zm使Dm+1成概率分布：步骤3.6、重复执行步骤3.2-3.5进行M次迭代运算，得到M个基本分类器；步骤3.7、将多次迭代得到的M个基本分类器按照权重进行加权求和组成单级强分类器，进行加权求和输出数值结果的过程如下公式所示：将fx得到的数值进行sign运算得到的单级强分类器的判别结果如下公式所示：其中，Gx为单级强分类器的判别结果，Gx＝+1表示有人，Gx＝-1表示没人；最后将多个单级强分类器串联构成级联Adaboost分类器，将步骤2提前的训练样本的Haar-NMF特征训练级联Adaboost分类器，得到保存训练结果的.xml文件。5.根据权利要求1所述的基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法，其特征在于：步骤5所述相邻视频帧帧间关系状态机的判定方法为：1当检测不到人时，首先在图像中找人，当检测到一帧图像中有人时，继续检测进行确认，当检测到与该帧图像相邻的连续5帧图像中有3帧中有人或者连续5帧有3帧画面中存在移动时，则判定画面中有人，即值班人员在岗，否则确认有人失败，值班人员脱岗；2当连续检测到有人状态，突然某一帧无法检测到人，则继续在视频序列中找人确认是否的确没人，当接下来的连续5帧图像中有2帧检测不到有人或者连续5帧有4帧没有检测到存在移动时，则认定视频中没有人，否则值班人员在岗。6.根据权利要求1所述的基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法，其特征在于：所述步骤6的具体方法为：步骤6.1、补充正负样本图片对步骤3中的级联Adaboost分类器重新训练，训练样本选择5000张正样本和6000张负样本，训练样本集来自三方面：一是来自于铁路监控运转室的录像，二是手机摄像头采集的实验室工位图片，三是CVC标准行人监测数据集；步骤6.2、进行脱岗检测，具体方法为：输入需要检测的视频流，并将输入的视频流分解为单帧图片，图片大小为1280*720，首先根据相邻视频帧的帧间关系进行状态机判定，然后使用训练结果.xml文件检测当前视频帧，用滑动窗口进行Haar-NMF特征提取，其中检测子窗口的大小为30×30，步长为8，将提取的Haar-NMF特征输入步骤3训练的级联Adaboost分类器进行检测，加载入多个测试视频，测试视频的帧率为30fps，清晰度为720p，与单帧图片检测结果类似，测试时会出现部分的误检和虚位。

百度查询： 东北大学 基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法