买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：黄山商维网络科技有限公司

摘要：本发明公开的一种广告显示装置，包括机体和显示屏，在机体的顶部设置图像采集装置，在机体内部设有主控制器和电源模块，图像采集装置用于实时采集可见光环境图像和红外环境图像，可见光环境图像和红外环境图像的数据相同，并将采集的可见光环境图像和红外环境图像发送给主控制器；主控制器接收可见光环境图像和红外环境图像，并对可见光环境图像和红外环境图像进行预处理，得到预处理后的可见光图像和红外图像，结合所述可见光图像和红外图像进行人脸识别和吸烟检测识别，得到吸烟的人脸图像。通过图像采集装置实时采集可见光环境图像和红外环境图像，主控制器结合可见光图像和红外图像进行人脸识别和吸烟检测识别，得到吸烟的人脸图像。

主权项：1.一种广告显示装置，包括机体、在机体上设有显示屏，其特征在于，在机体的顶部设置图像采集装置，在机体内部设有主控制器和电源模块，所述显示屏用于显示图像；所述图像采集装置用于实时采集可见光环境图像和红外环境图像，所述可见光环境图像和红外环境图像的数据相同，并将采集的可见光环境图像和红外环境图像发送给主控制器；所述主控制器接收可见光环境图像和红外环境图像，并对可见光环境图像和红外环境图像进行预处理，得到预处理后的可见光图像和红外图像，结合所述可见光图像和红外图像进行人脸识别和吸烟检测识别，得到吸烟的人脸图像；所述电源模块用于为显示屏、图像采集装置和主控制器提供工作电源；所述图像采集装置和显示屏分别与主控制器连接，所述电源模块分别与图像采集装置、主控制器和显示屏连接；其中，所述图像采集装置包括变焦镜头、红外摄像头、摄像头和半反半透分光镜，所述红外摄像头和摄像头在同一纵向方向安装，所述变焦镜头位于红外摄像头的前方，所述红外摄像头与摄像头之间设置半反半透分光镜，所述半反半透分光镜与水平线的夹角呈45度，所述摄像头和红外摄像头分别与主控制器连接。

全文数据：一种广告显示装置及其吸烟检测方法技术领域本发明涉及广告设备技术领域，具体涉及一种广告显示装置及其吸烟检测方法。背景技术目前，全社会提倡无烟公共场所、无烟办公室；一些公共场所和办公室经常采用标语式的“禁止吸烟”进行提醒，或者采用基于烟雾检测的“禁止吸烟”语音提醒器，通过对周围环境的烟雾情况进行检测而进行语音提醒。基于烟雾检测的“禁止吸烟”检测装置至少存在如下缺陷：其微小颗粒探测能力差，对类似成分的气体或者烟雾无法分辨造成误报；延迟时间大，必须当气体或烟雾传播至传感器装置才可能触发报警；长时间的使用会使探测器的敏感度降低，从而不能准确探测出是否有人吸烟；只有在探测器可探测到的范围内且烟雾浓度高时才能准确检测；烟雾探测器只能检测出有人吸烟，但是不能拍照取证，也无法定位抽烟的具体位置，不利于报警反馈。发明内容针对现有技术中的缺陷，本发明实施例提供的一种广告显示装置及其吸烟检测方法，通过广告显示装置对周围环境图像采集，自动准确判断图像中的吸烟人员。第一方面，本发明实施例提供的一种广告显示装置，包括机体、在机体上设有显示屏，在机体的顶部设置图像采集装置，在机体内部设有主控制器和电源模块，所述显示屏用于显示图像；所述图像采集装置用于实时采集可见光环境图像和红外环境图像，所述可见光环境图像和红外环境图像的数据相同，并将采集的可见光环境图像和红外环境图像发送给主控制器；所述主控制器接收可见光环境图像和红外环境图像，并对可见光环境图像和红外环境图像进行预处理，得到预处理后的可见光图像和红外图像，结合所述可见光图像和红外图像进行人脸识别和吸烟检测识别，得到吸烟的人脸图像；所述电源模块用于为显示屏、图像采集装置和主控制器提供工作电源；所述图像采集装置和显示屏分别与主控制器连接，所述电源模块分别与图像采集装置、主控制器和显示屏连接。进一步地，所述图像采集装置包括变焦镜头、红外摄像头、摄像头和半反半透分光镜，所述红外摄像头和摄像头在同一纵向方向安装，所述变焦镜头位于红外摄像头的前方，所述红外摄像头与摄像头之间设置半反半透分光镜，所述半反半透分光镜与水平线的夹角呈45度，所述摄像头和红外摄像头分别与主控制器连接。进一步地，还包括报警装置，所述报警装置用于发出提示信号，所述报警装置与主控制器连接。进一步地，所述报警装置包括语音模块，所述语音模块用于播放提醒语音信息，所述语音模块与主控制器连接。第二方面，本发明实施例提供的一种广告显示装置的吸烟检测方法，包括：获取广告显示装置同步拍摄的可见光环境图像和红外环境图像，所述可见光环境图像和红外环境图像的数据相同；所述可见光环境图像与红外环境图像拍摄角度、拍摄的内容和拍摄时的设置参数均相同；对所述可见光环境图像和红外环境图像进行预处理；对预处理后的可见光环境图像进行人脸识别，将预处理后的可见光环境图像分割为多个含有人脸可见光子图像；根据所述人脸可见光子图像的尺寸大小和人脸图像在可见光环境图像中的位置，在预处理后的红外环境图像中提取相应区域的人脸红外子图像；将所述人脸可见光子图像和人脸红外子图像输入吸烟检测神经网络模型中进行吸烟行为识别；吸烟检测神经网络模型识别出吸烟的人脸图像。进一步地，在吸烟检测神经网络模型识别出吸烟的人脸图像步骤后还包括：控制报警装置发出语音提示信号。进一步地，方法还包括建立吸烟检测神经网络模型，所述建立吸烟检测神经网络模型的具体方法包括：选取公开的可见光环境图像和红外环境图像，所述可见光环境图像和红外环境图像内容相同、尺寸相同和拍摄角度相同，所述公开的可见光环境图像和红外环境图像中包括吸烟人脸图像和未吸烟人脸图像；采用人脸识别方法从公开的可见光图像中获取可见光人脸图像；根据可见光人脸图像的尺寸大小及人脸图像在可见光环境图像中的位置，从公开的红外环境图像中获取相应区域的红外人脸图像，将所述可见光人脸图像和红外人脸图像作为一个吸烟检测训练集，根据吸烟检测训练集中每张图像中是否有烟，对所述吸烟图像标注标签；根据所述标签，采用吸烟检测训练集对预设的吸烟检测神经网络模型进行训练，至所述模型收敛。进一步地，所述吸烟检测神经网络模型采用深层卷积神经网络，所述深层卷积神经网络包括5个卷积层、4个全连接层和1个分类层。进一步地，所述广告显示装置包括机体、在机体上设有显示屏，在机体的顶部设置图像采集装置，在机体内部设有主控制器和电源模块，所述显示屏用于显示图像；所述图像采集装置用于实时采集可见光环境图像和红外环境图像，所述可见光环境图像和红外环境图像的数据相同，并将采集的可见光环境图像和红外环境图像发送给主控制器；所述主控制器接收可见光环境图像和红外环境图像，并对可见光环境图像和红外环境图像进行预处理，得到预处理后的可见光图像和红外图像，结合所述可见光图像和红外图像进行人脸识别和吸烟检测识别，得到吸烟的人脸图像；所述电源模块用于为显示屏、图像采集装置和主控制器提供工作电源；所述图像采集装置和显示屏分别与主控制器连接，所述电源模块分别与图像采集装置、主控制器和显示屏连接。进一步地，所述图像采集装置包括变焦镜头、红外摄像头、摄像头和半反半透分光镜，所述红外摄像头和摄像头在同一纵向方向安装，所述变焦镜头位于红外摄像头的前方，所述红外摄像头与摄像头之间设置半反半透分光镜，所述半反半透分光镜与水平线的夹角呈45度，所述摄像头和红外摄像头分别与主控制器连接。本发明的有益效果：本发明实施例提供的广告显示装置，通过图像采集装置实时采集可见光环境图像和红外环境图像，可见光环境图像和红外环境图像的数据相同，主控制器对接收的可见光环境图像和红外环境图像进行预处理，得到预处理后的可见光图像和红外图像，结合可见光图像和红外图像进行人脸识别和吸烟检测识别，得到吸烟的人脸图像，实现广告显示装置对吸烟人脸的识别，主控制器控制图像采集装置采集图像，控制显示屏显示广告信息。本发明实施例提供的广告显示装置的吸烟检测方法，通过同步采集拍摄的可见光环境图像和红外环境图像，对可见光图像和红外图像进行分析处理，采用吸烟检测神经网络模型识别出吸烟的人脸图像和未吸烟的人脸图像，实现了非接触式的吸烟行为的检测，快速准确地识别出吸烟行为的人脸图像。附图说明为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。图1示出了本发明第一实施例所提供的一种广告显示装置的结构示意图；图2示出了本发明第一实施例所提供的一种广告显示装置的原理框图；图3示出了本发明第一实施例中图像采集装置同步拍摄的光路示意图；图4示出了本发明第二实施例所提供的一种广告显示装置的吸烟检测方法的流程图。具体实施方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和或其集合的存在或添加。还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，本发明说明书和所附权利要求书中使用的术语“和或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。如图1、2所示，本发明第一实施例所提供的一种广告显示装置包括机体1、在机体1上设有显示屏2，在机体1的顶部设置图像采集装置3，在机体内部设有主控制器4和电源模块5，所述显示屏2用于显示图像；所述图像采集装置3用于实时采集可见光环境图像和红外环境图像，所述可见光环境图像和红外环境图像的数据相同，并将采集的可见光环境图像和红外环境图像发送给主控制器；所述主控制器4接收可见光环境图像和红外环境图像，并对可见光环境图像和红外环境图像进行预处理，得到预处理后的可见光图像和红外图像，结合所述可见光图像和红外图像进行人脸识别和吸烟检测识别，得到吸烟的人脸图像；所述电源模块5用于为显示屏、图像采集装置和主控制器提供工作电源；所述图像采集装置3和显示屏2分别与主控制器4连接，所述电源模块5分别与图像采集装置3、主控制器4和显示屏2连接。显示屏2可以采用LCD显示屏或OLED显示屏。本发明实施例中的广告显示装置，主控制器控制图像采集装置采集图像，控制显示屏显示广告信息，通过图像采集装置实时采集可见光环境图像和红外环境图像，可见光环境图像和红外环境图像的数据相同，主控制器对接收的可见光环境图像和红外环境图像进行预处理，得到预处理后的可见光图像和红外图像，结合可见光图像和红外图像进行人脸识别和吸烟检测识别，得到吸烟的人脸图像，实现广告显示装置对吸烟人脸的识别。如图3所示，示出了图像采集装置同步拍摄的光路示意图。在本实施例中，图像采集装置3包括变焦镜头31、红外摄像头32、摄像头33和半反半透分光镜34，所述红外摄像头32和摄像头33在同一纵向方向安装，所述变焦镜头31位于红外摄像头32的前方，所述红外摄像头32与摄像头33之间设置半反半透分光镜34，所述半反半透分光镜34与水平线的夹角呈45度，所述摄像头33和红外摄像头32分别与主控制器4连接。红外摄像头与摄像头按照本实施例描述位置进行安装，可实现红外视频和可见光视频同步拍摄，使得红外摄像头和摄像头拍摄的内容相同。在本实施例中，广告显示装置还包括报警装置6，所述报警装置6用于发出提示信号，所述报警装置6与主控制器4连接。报警装置包括语音模块，所述语音模块用于播放提醒语音信息，所述语音模块与主控制器连接。主控制器通过对图像采集装置采集的图像进行分析处理，若识别出图像中有吸烟行为的人，则通过报警装置发出提示信号，如：通过语音模块播放“请勿吸烟”的语音提示信息，或者由有相关执法权限的单位公布吸烟者的人脸图像，在公共区域可以有效地起到禁止吸烟的效果。如图4所示，示出了本发明第二实施例提供的一种广告显示装置的吸烟检测方法的流程图，该方法适用于第一实施例描述的广告显示装置，广告显示装置的吸烟检测方法包括以下步骤：S1:主控制器获取广告显示装置同步拍摄的可见光环境图像和红外环境图像，所述可见光环境图像和红外环境图像的数据相同；所述可见光环境图像与红外环境图像拍摄角度、拍摄的内容和拍摄时的设置参数均相同。S2:主控制器对所述可见光环境图像和红外环境图像进行预处理。S3:主控制器对预处理后的可见光环境图像进行人脸识别，将预处理后的可见光环境图像分割为多个含有人脸可见光子图像。S4:主控制器根据所述人脸可见光子图像的尺寸大小和人脸图像在可见光环境图像中的位置，在预处理后的红外环境图像中提取相应区域的人脸红外子图像。S5:主控制器将所述人脸可见光子图像和人脸红外子图像输入吸烟检测神经网络模型中进行吸烟行为识别。S6:吸烟检测神经网络模型识别出吸烟的人脸图像。S7:控制报警装置发出语音提示信号。本实施例的广告显示装置的吸烟检测方法，通过同步采集拍摄的可见光环境图像和红外环境图像，对可见光图像和红外图像进行分析处理，采用吸烟检测神经网络模型识别出吸烟的人脸图像和未吸烟的人脸图像，实现了非接触式的吸烟行为的检测，快速准确地识别出吸烟行为的人脸图像。在识别到有吸烟行为的人脸图像时，还可以控制报警装置发出语音提示信号，提醒吸烟的人请勿吸烟，或者由有相关执法权限的单位公布吸烟者的人脸图像，在公共区域可以有效地起到禁止吸烟的效果。本实施例中，建立吸烟检测神经网络模型的具体方法包括:选取公开的可见光环境图像和红外环境图像，所述可见光环境图像和红外环境图像内容相同、尺寸相同和拍摄角度相同，所述公开的可见光环境图像和红外环境图像中包括吸烟人脸图像和未吸烟人脸图像；采用人脸识别方法从公开的可见光图像中获取可见光人脸图像；根据可见光人脸图像的尺寸大小及人脸图像在可见光环境图像中的位置，从公开的红外环境图像中获取相应区域的红外人脸图像，将所述可见光人脸图像和红外人脸图像作为一个吸烟检测训练集，根据吸烟检测训练集中每张图像中是否有烟，对所述吸烟图像标注标签；根据所述标签，采用吸烟检测训练集对预设的吸烟检测神经网络模型进行训练，至所述模型收敛。吸烟检测神经网络采用深层卷积神经网络，深层卷积神经网络共有10层从左至右分别为5个卷积层，4个全连接层，1个分类softmax层。每一层的参数描述如下：第一卷积层：96组卷积核，每组卷积核的尺寸为11*11*311*11表示卷积核的长宽，3表示要卷积的图像的通道，卷积的步长为4；卷积得到的96幅特征图像经过RELU非线性映射和一个核为3*3步长为2的下采样，再经过一次正则化后得到的96幅特征图送往第二卷积层；第二卷积层：步骤和第一卷积层相同，不同的是：有256组滤波核，每组尺寸为5*5*96，卷积步长为1，其它和第一卷积层相同，输出送往第三卷积层；第三卷积层：步骤和第一卷积层相同，不同的是：有384组滤波核，每组尺寸为3*3*256，卷积步长为1，其它和第一卷积层1相同；输出送往卷积层4；第四卷积层：步骤和第一卷积层相同，不同的是：有384组滤波核，每组尺寸为3*3*384，卷积步长为1，其它和第一卷积层相同输出送往第五卷积层；第五卷积层：步骤和第一卷积层相同，不同的是：有256组滤波核，每组尺寸为3*3*384，卷积步长为1，其它和第一卷积层相同，输出送往第一全连接层；第一全连接层：4096个节点，每个节点都进行一个概率为50％的丢弃dropout，dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。每个节点的输出都进行一次RELU线性整流函数非线性映射作为最终输出，最终输出结果送往第二全连接层；第二全连接层：4096个节点，操作同第一全连接层，结果送往第三全连接层；第三全连接层：4096个节点，只进行一次全连接，没有dropout及非线性映射操作，结果送往第四全连接层；第四全连接层：2048个节点，操作同第三全连接层，结果送往分类层；分类层：输出带有吸烟行为或未吸烟行为的分类结果。通过上述深层卷积神经网络构建吸烟检测神经网络模型，可以快速识别出图像中吸烟行为和未吸烟行为的人。本实施例的广告显示装置的吸烟检测方法，通过同步采集拍摄的可见光环境图像和红外环境图像，对可见光图像和红外图像进行分析处理，采用吸烟检测神经网络模型识别出吸烟的人脸图像和未吸烟的人脸图像，实现了非接触式的吸烟行为的检测，快速准确地识别出吸烟行为的人脸图像。最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

权利要求：1.一种广告显示装置，包括机体、在机体上设有显示屏，其特征在于，在机体的顶部设置图像采集装置，在机体内部设有主控制器和电源模块，所述显示屏用于显示图像；所述图像采集装置用于实时采集可见光环境图像和红外环境图像，所述可见光环境图像和红外环境图像的数据相同，并将采集的可见光环境图像和红外环境图像发送给主控制器；所述主控制器接收可见光环境图像和红外环境图像，并对可见光环境图像和红外环境图像进行预处理，得到预处理后的可见光图像和红外图像，结合所述可见光图像和红外图像进行人脸识别和吸烟检测识别，得到吸烟的人脸图像；所述电源模块用于为显示屏、图像采集装置和主控制器提供工作电源；所述图像采集装置和显示屏分别与主控制器连接，所述电源模块分别与图像采集装置、主控制器和显示屏连接。2.如权利要求1所述的广告显示装置，其特征在于，所述图像采集装置包括变焦镜头、红外摄像头、摄像头和半反半透分光镜，所述红外摄像头和摄像头在同一纵向方向安装，所述变焦镜头位于红外摄像头的前方，所述红外摄像头与摄像头之间设置半反半透分光镜，所述半反半透分光镜与水平线的夹角呈45度，所述摄像头和红外摄像头分别与主控制器连接。3.如权利要求2所述的广告显示装置，其特征在于，还包括报警装置，所述报警装置用于发出提示信号，所述报警装置与主控制器连接。4.如权利要求3所述的广告显示装置，其特征在于，所述报警装置包括语音模块，所述语音模块用于播放提醒语音信息，所述语音模块与主控制器连接。5.一种广告显示装置的吸烟检测方法，其特征在于，包括：获取广告显示装置同步拍摄的可见光环境图像和红外环境图像，所述可见光环境图像和红外环境图像的数据相同；所述可见光环境图像与红外环境图像拍摄角度、拍摄的内容和拍摄时的设置参数均相同；对所述可见光环境图像和红外环境图像进行预处理；对预处理后的可见光环境图像进行人脸识别，将预处理后的可见光环境图像分割为多个含有人脸可见光子图像；根据所述人脸可见光子图像的尺寸大小和人脸图像在可见光环境图像中的位置，在预处理后的红外环境图像中提取相应区域的人脸红外子图像；将所述人脸可见光子图像和人脸红外子图像输入吸烟检测神经网络模型中进行吸烟行为识别；吸烟检测神经网络模型识别出吸烟的人脸图像。6.如权利要求5所述的广告显示装置的吸烟检测方法，其特征在于，在吸烟检测神经网络模型识别出吸烟的人脸图像步骤后还包括：控制报警装置发出语音提示信号。7.如权利要求5所述的广告显示装置的吸烟检测方法，其特征在于，所述方法还包括建立吸烟检测神经网络模型，所述建立吸烟检测神经网络模型的具体方法包括：选取公开的可见光环境图像和红外环境图像，所述可见光环境图像和红外环境图像内容相同、尺寸相同和拍摄角度相同，所述公开的可见光环境图像和红外环境图像中包括吸烟人脸图像和未吸烟人脸图像；采用人脸识别方法从公开的可见光图像中获取可见光人脸图像；根据可见光人脸图像的尺寸大小及人脸图像在可见光环境图像中的位置，从公开的红外环境图像中获取相应区域的红外人脸图像，将所述可见光人脸图像和红外人脸图像作为一个吸烟检测训练集，根据吸烟检测训练集中每张图像中是否有烟，对所述吸烟图像标注标签；根据所述标签，采用吸烟检测训练集对预设的吸烟检测神经网络模型进行训练，至所述模型收敛。8.如权利要求7所述的广告显示装置的吸烟检测方法，其特征在于，所述吸烟检测神经网络模型采用深层卷积神经网络，所述深层卷积神经网络包括5个卷积层、4个全连接层和1个分类层。9.如权利要求5所述的广告显示装置的吸烟检测方法，其特征在于，所述广告显示装置包括机体、在机体上设有显示屏，在机体的顶部设置图像采集装置，在机体内部设有主控制器和电源模块，所述显示屏用于显示图像；所述图像采集装置用于实时采集可见光环境图像和红外环境图像，所述可见光环境图像和红外环境图像的数据相同，并将采集的可见光环境图像和红外环境图像发送给主控制器；所述主控制器接收可见光环境图像和红外环境图像，并对可见光环境图像和红外环境图像进行预处理，得到预处理后的可见光图像和红外图像，结合所述可见光图像和红外图像进行人脸识别和吸烟检测识别，得到吸烟的人脸图像；所述电源模块用于为显示屏、图像采集装置和主控制器提供工作电源；所述图像采集装置和显示屏分别与主控制器连接，所述电源模块分别与图像采集装置、主控制器和显示屏连接。10.如权利要求9所述的广告显示装置的吸烟检测方法，其特征在于，所述图像采集装置包括变焦镜头、红外摄像头、摄像头和半反半透分光镜，所述红外摄像头和摄像头在同一纵向方向安装，所述变焦镜头位于红外摄像头的前方，所述红外摄像头与摄像头之间设置半反半透分光镜，所述半反半透分光镜与水平线的夹角呈45度，所述摄像头和红外摄像头分别与主控制器连接。

百度查询： 黄山商维网络科技有限公司 一种广告显示装置及其吸烟检测方法