买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:中侨健康管理(上海)有限公司
摘要:本申请提供了一种人体姿态识别传感器、人体姿态识别方法及系统,通过微波信号和红外影像,对监测范围内的人体进行行为监测。通过微波信号监测人体的呼吸速率、心跳速率等指标,结合红外影像建立人体的骨骼模型,通过骨骼模型监测人体的情况,在出现跌倒、久蹲等情况时,可及时的发现并报警提醒。该传感器采用嵌入式神经网络处理器,可快速完成人脸以及人体状态检测,该传感器不记录视频数据,不涉及用户隐私,不需配置本地服务器、存储设备,节省成本。传感器安装简单,是非介入式被动监测,不改变被监测人员日常习惯,可获取更多的数据,提高监测准确性。对网络带宽无要求,无网络延迟,系统升级只需要增减传感器,可通过远程OTA进行系统更新。
主权项:1.一种人体姿态识别传感器,其特征在于,该人体姿态识别传感器包括:底盖和固定架,所述底盖和固定架固定并围合形成容纳腔室;电路板,所述电路板固定在所述容纳腔室内;设置在所述电路板上的神经网络处理器;与所述神经网络处理器连接的微波发射天线、微波接收天线和双目红外摄像头,所述微波发射天线用于发射微波信号,所述微波接收天线用于接收经其他物体反射的所述微波信号,所述双目红外摄像头用于采集红外影像;所述固定架上设置有用于固定所述微波发射天线、微波接收天线的第一固定孔以及用于固定所述双目红外摄像头的第二固定孔;滤波罩,所述滤波罩固定在所述固定架远离所述容纳腔室的一侧,所述滤波罩上开设有与所述第一固定孔相匹配的第一通孔;挡板,所述挡板设置在所述滤波罩远离所述固定架一侧,所述挡板上开设有与所述第一通孔相匹配的第二通孔,所述挡板可沿所述滤波罩所在平面移动,以通过调整所述第二通孔与所述第一通孔的重叠面积,改变所述微波信号的发射方向和接收方向;所述滤波罩两端分别开设有滑槽,所述挡板上设置有与所述滑槽相匹配的滑块,所述挡板通过所述滑块相对所述滑槽滑动;该人体姿态识别传感器还包括:设置在所述电路板上,与所述神经网络处理器相连接的通信模块,所述通信模块用于将所述神经网络处理器的处理结果发送至其他外部设备。
全文数据:人体姿态识别传感器、人体姿态识别方法及系统技术领域本申请涉及传感器技术领域,具体而言,涉及一种人体姿态识别传感器、人体姿态识别方法及系统。背景技术随着人口趋向老龄化的现象加剧,老人的养老照护形势也日趋严峻,目前已经有越来越多的老人选择在社区养老。社区活动中心等是老人日常集中活动的场所,对于老人的看护可以通过看护人员人工进行,也可以使用心率监测设备或血压监测设备等装置进行,但由于看护人员的数量和精力都有限,监测设备的功能单一,对于老人随时可能出现的风险难以进行有效的监测。例如,在某些场所中,难以及时有效的发现跌倒的老人。因此,亟需一种能够对老人进行姿态识别的装置。发明内容为了至少克服现有技术中的上述不足,本申请的目的之一在于提供一种人体姿态识别传感器、人体姿态识别方法及系统。本申请提供的技术方案如下:一种人体姿态识别传感器,该人体姿态识别传感器包括:底盖和固定架,所述底盖和固定架固定并围合形成容纳腔室;电路板,所述电路板固定在所述容纳腔室内;设置在所述电路板上的神经网络处理器;与所述神经网络处理器连接的微波发射天线、微波接收天线和双目红外摄像头,所述微波发射天线用于发射微波信号,所述微波接收天线用于接收经其他物体反射的所述微波信号,所述双目红外摄像头用于采集红外影像;所述固定架上设置有用于固定所述微波发射天线、微波接收天线的第一固定孔以及用于固定所述双目红外摄像头的第二固定孔;滤波罩,所述滤波罩固定在所述固定架远离所述容纳腔室的一侧,所述滤波罩上开设有与所述第一固定孔相匹配的第一通孔;挡板,所述挡板设置在所述滤波罩远离所述固定架一侧,所述挡板上开设有与所述第一通孔相匹配的第二通孔,所述挡板可沿所述滤波罩所在平面移动,以通过调整所述第二通孔与所述第一通孔的重叠面积,改变所述微波信号的发射方向和接收方向。进一步地,所述滤波罩两端分别开设有滑槽,所述挡板上设置有与所述滑槽相匹配的滑块,所述挡板通过所述滑块相对所述滑槽滑动。进一步地,该人体姿态识别传感器还包括:设置在所述电路板上,与所述神经网络处理器相连接的通信模块,所述通信模块用于将所述神经网络处理器的处理结果发送至其他外部设备。进一步地,该人体姿态识别传感器还包括:红外线发射器,所述红外线发射器设置在所述固定架远离所述容纳腔室的一侧,并与所述神经网络处理器相连接,用于向外发射红外线。进一步地,所述滤波罩上设置有与所述双目红外摄像头相匹配的滤镜,所述滤镜用于滤除进入所述双目红外摄像头内的环境光线。本申请还提供了一种人体姿态识别方法,应用于上述人体姿态识别传感器,所述人体姿态识别传感器预先建立与云服务器的通信连接,所述云服务器用于建立深度学习神经网络,并使用预设跌倒影像对所述深度学习神经网络进行训练,该人体姿态识别方法包括:根据接收到的微波信号,确定监测范围内是否存在人体;当确定所述监测范围内存在人体时,根据所述红外影像,确定目标人体在预设坐标系内的人体部位深度信息;对所述目标人体进行人脸识别,确定所述目标人体的人员信息;基于预设人体部位预测模型,根据所述人体部位深度信息,绘制所述目标人体的骨骼模型;使用训练结束的所述深度学习神经网络对所述骨骼模型进行监测;当监测到所述骨骼模型为异常状态时,生成与所述人员信息对应的报警信息,并发送至所述云服务器,所述异常状态包括跌倒、长时间下蹲或长时间扶握其他物体。进一步地,根据接收到的微波信号,确定监测范围内是否有人体的步骤包括:根据接收到的微波信号,确定检测范围内是否有物体移动;当检测到有物体移动时,基于所述微波信号确定移动的物体的心跳速率和呼吸速率;当确定移动的物体的心跳速率或呼吸速率满足预设条件时,确定检测范围内有人体。进一步地,当确定监测范围内存在人体时,根据所述红外影像,确定目标人体在预设坐标系内的人体部位深度信息的步骤包括:基于所述红外影像中同一目标点在每个红外摄像头影像平面上的位置信息,计算所述目标点在所述预设坐标系的三维坐标值;将所述三维坐标值转换为二维图像中的坐标值,确定多个目标点在所述二维图像中的深度信息,作为所述目标人体的人体部位深度信息。进一步地,所述预设人体部位预测模型中包括人体多个关键骨骼点的连接关系,基于预设人体部位预测模型,根据所述人体部位深度信息,绘制所述目标人体的骨骼模型的步骤包括:根据所述红外影像,确定所述目标人体的至少一个关键骨骼点;根据所述多个关键骨骼点的连接关系,以及所述人体部位深度信息,绘制得到所述目标人体的骨骼模型。本申请还提供了一种人体姿态识别系统,包括上述人体姿态识别传感器,以及与所述人体姿态识别传感器连接的云服务器,所述云服务器用于针对预设跌倒影像建立深度学习神经网络,并对所述深度学习神经网络进行训练,以使所述人体姿态识别传感器根据所述深度学习神经网络的训练结果对监测人体进行异常检测。相对于现有技术而言,本申请具有以下有益效果:本申请实施例提供的人体姿态识别传感器包括底盖、固定架以及滤波罩,在其内部容纳腔室内设置有神经网络传感器、微波发射天线、微波接收天线以及双目红外摄像头,滤波罩上还设置有挡板,挡板相对于滤波罩的位置可以移动,使得挡板可以对微波发射天线发出的微波信号进行不同面积的遮蔽,从而改变微波信号的覆盖范围,使人体姿态识别传感器的微波信号的覆盖范围可以根据实际需要调整,提高人体姿态势传感器的适用范围,满足不同场景下人体姿态识别的需要。附图说明为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。图1为本申请实施例提供的一种人体姿态识别传感器的结构示意图。图2为本申请实施例提供的一种人体姿态识别传感器的另一结构示意图。图3为本申请实施例提供的一种人体姿态识别传感器中固定架的结构示意图。图4至图6为本申请实施例提供的一种人体姿态识别传感器中滤波罩与挡板的结构示意图。图7为本申请实施例提供的一种人体姿态识别方法的示意图。图8为本申请实施例提供的一种人体姿态识别系统的示意图。图标:100-人体姿态识别系统;10-人体姿态识别传感器;20-云服务器;101-底盖;102-固定架;103-电路板;104-神经网络处理器;105-微波发射天线;106-微波接收天线;107-双目红外摄像头;108-滤波罩;109-挡板;110-通信模块;111-第一固定孔;112-第二固定孔;181-第一通孔;182-滑槽;191-第二通孔;192-滑块。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。在本申请的描述中,还需要说明的是,除非另有明确的规定和限定,术语“设置”、“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。现有的老人活动场所存在以下风险及问题:由于老人活动场所一般为开放场所,容易被闲杂人等或不法分子混入,包括保健品推销人员等;难以进行用户数据统计,包括人流量统计等;老人在活动时容易出现疾病突发等风险,通过现有手段难以及时发现;难以通过老人疾病发病的早期行为数据进行疾病预警。综上,老人在社区活动中心有两方面的风险,一个是安全风险,包括身份识别和数据统计。另外一个是活动风险,包括跌倒或疾病突发。为了提高对社区活动中心老人的照护效率和照护水平,出现了多种改善手段。例如,增加社区中心护理人员的数量;为每位老人配备信息采集设备,这些信息采集设备能够采集老人的位置信息和生命体征信息血压、心率等,因而可以让管理人员简单的掌握老人的所处状态。但这些应对方法和管理手段都存在弊病。通过增加运营人员来精细化的关注安全和活动方面的风险,会存在较高的运营成本而无法大规模复制推广。通过配带穿戴设备的手段中,某些老人会抗拒佩戴,同时容易忘记充电,使得实际运营过程中老人无法坚持而舍弃。更重要的是,目前这些设备和管理系统对老人的跌倒等突发异常情况的监测缺乏低成本、行之有效的监测方法。有鉴于此,本申请实施例提供了一种人体姿态识别传感器10,如图1和图2所示,该人体姿态识别传感器10包括底盖101、固定架102、电路板103、神经网络处理器104、微波发射天线105、微波接收天线106、双目红外摄像头107、滤波罩108以及挡板109。所述底盖101和固定架102固定并围合形成容纳腔室,底盖101和固定架102可以通过螺钉或其他固定方式固定,本申请中的底盖101可以制作形成具有一端开口的长方体空腔,固定架102可以固定在长方体空腔的开口处。所述电路板103可以固定在所述容纳腔室内。神经网络处理器104可以设置在所述电路板103上,微波发射天线105、微波接收天线106和双目红外摄像头107与所述神经网络处理器104连接。所述微波发射天线105用于发射微波信号,所述微波接收天线106用于接收经其他物体反射的所述微波信号。神经网络处理器104可以生成信号发射指令,微波发射天线105可以根据信号发射指令向外发射微波信号。在本申请实施例中,神经网络传感器可以采用型号为CK860MP的嵌入式神经网络处理器104。所述双目红外摄像头107用于采集红外影像。通过双目红外摄像头107可以为后续进行图像上人体部位深度信息提供可用的红外图像。双目红外摄像头107可以由两个OmnivisionOV16860摄像头模组组成。如图3所示,所述固定架102上设置有用于固定所述微波发射天线105、微波接收天线106的第一固定孔111以及用于固定所述双目红外摄像头107的第二固定孔112。为了使微波发射天线105发出的微波信号可以尽可能多的散步到环境中,第一固定孔111可以开设在固定架102的两端,第一固定孔111的数量为两个,其中一个用于固定微波发射天线105,另一个用于固定微波接收天线106。第二固定孔112可以位于固定架102的中间部位,第二固定孔112也可以开设两个,实现对每个摄像头模组的固定。如图4所示,所述滤波罩108固定在所述固定架102远离所述容纳腔室的一侧,所述滤波罩108上开设有与所述第一固定孔111相匹配的第一通孔181。滤波罩108上开设的第一通孔181可以容许微波信号穿过,第一通孔181的位置可以根据第一固定孔111的位置确定。如图4和图5所示,所述挡板109设置在所述滤波罩108远离所述固定架102一侧,所述挡板109上开设有与所述第一通孔181相匹配的第二通孔191,所述挡板109可沿所述滤波罩108所在平面移动,以通过调整所述第二通孔191与所述第一通孔181的重叠面积,改变所述微波信号的发射方向和接收方向。本申请实施例中的人体姿态识别传感器10在使用过程中,可以被安装在室内屋顶或其他位置,该人体姿态识别传感器10在安装固定好后,其整体位置难以进行灵活的移动。而由于微波发射天线105发出的微波信号具有一定的范围和指向性,在人体姿态识别传感器10的整体位置不能调整的情况下,可以通过调整挡板109的位置,使第一通孔181和第二通孔191的重叠面积发生变化,在第一通孔181和第二通孔191的重叠面积较大时,固定架102上的微波发射天线105发出的微波信号中就会有尽可能多的部分通过第一通孔181和第二通孔191。而在第一通孔181和第二通孔191的重叠面积变小时,微波发射天线105发出的微波信号通过第一通孔181和第二通孔191的信号就会减少。通过第一通孔181和第二通孔191的微波信号的多少可以影响微波信号的传播范围,同时挡板109的位置还会改变微波信号的传播角度。通过设置挡板109,可以实现对微波信号的传播方向和传播角度的控制。再如图5所示,所述滤波罩108两端可以分别开设有滑槽182,所述挡板109上设置有与所述滑槽182相匹配的滑块192,所述挡板109通过所述滑块192与所述滑槽182滑动连接。滑槽182可以分别开设在滤波罩108的两端,在本申请实施例中,滑槽182的延伸方向可以垂直于滤波罩108的长度方向,如此,挡板109通过滑块192与滑槽182连接后,挡板109可以做垂直于滤波罩108长度方向的移动,在需要调整挡板109的位置时,可以手动拨动滑块192在滑槽182内的位置。向上拨动滑块192,滑块192沿滑槽182向上滑动,挡板109也向上移动。在本申请实施例中,滑槽182的宽度可以略小于滑块192的宽度,滑块192在滑槽182内可以滑动,但在没有外力作用时,滑块192可以被卡固在滑槽182内,从而实现挡板109的位置固定。在本申请实施例中,挡板109上的第二通孔191的面积可以小于或等于第一通孔181的面积,挡板109可以选用能够吸收微波信号的材质制成,在挡板109将部分第二通孔191遮蔽后,微波发射天线105发出的部分微波信号可以被挡板109吸收,没有被挡板109遮挡住的微波信号就可以通过第二通孔191出射到外部环境中。通过调整挡板109的位置,使第二通孔191和第一通孔181重叠的位置发生变化,第一通孔181被遮蔽的面积也可以随之变换,从而实现微波信号传播方向和传播范围的调整。在不能或不方便对人体姿态识别传感器10的整体位置进行调整时,可以通过调整挡板109的位置来调整微波信号的覆盖范围。在本申请实施例中,为了实现对微波信号的发射范围和接收范围进行更灵活的调整,可以根据实际需要,将挡板109仅设置在微波发射天线105对应的位置,也可以仅设置在微波接收天线106对应的位置,也可以在微波发射天线105和微波接收天线106对应的位置均设置挡板109。再如图5所示,当挡板109仅设置在微波发射天线105对应的位置时,可以仅对微波信号的发射范围进行调整。当挡板109仅设置在微波发射天线105对应的位置时,可以仅对微波信号的发射范围进行调整。当挡板109仅设置在微波接收天线106对应的位置时,可以仅对微波信号的接收范围进行调整。如图6所示,当微波发射天线105和微波接收天线106均设置挡板109时,就可以对微波信号的发射范围和接收范围都进行调整。在实际使用过程中,在一个室内环境中,为了提高人体姿态识别的准确性,可以配置多台人体姿态识别传感器10,如果不对每台人体姿态势必传感器发出的微波信号的覆盖范围进行调整,很有可能会出现这样的情况:某一人体姿态识别传感器10中的微波发射天线105发出的微波信号直接进入到了另外一台人体姿态识别传感器10的接收范围内,使得第二台人体姿态识别传感器10接收到的微波信号是没有经过其他物体反射的微波信号,第二台人体姿态识别传感器10通过这样的微波信号是不能确定人体姿态的。但如果再重新调整人体姿态识别传感器10的整机位置,工作量会很大。因此,在一个配置有多台人体姿态识别传感器10的环境中,既可以可以通过调整人体姿态识别传感器10上微波接收天线106对应的挡板109的位置,使一台人体姿态识别传感器10不会直接接收到其他人体姿态识别传感器10发出的微波信号。同时,也可以调整其他人体姿态识别传感器10上微波发射天线105对应的挡板109的位置,使该人体姿态识别传感器10发出的微波信号是覆盖人体活动的范围,而不会直接接入到其他人体姿态识别传感器10上的接收范围内。工作人员可以根据实际环境,仅通过调整不同人体姿态识别传感器10上挡板109的位置,就可以使多个人体姿态识别传感器10的微波信号尽最大可能将实际环境的人体活动范围覆盖,同时可以避免发出的微波信号直接被其他微波接收天线106接收的情况,在减少工作人员维护工作量的同时,提高多个人体姿态识别传感器10工作的协调性。可选地,再如图1和图2所示,该人体姿态识别传感器10还包括:设置在所述电路板103上,与所述神经网络处理器104相连接的通信模块110,所述通信模块110用于将所述神经网络处理器104的处理结果发送至其他外部设备。在本申请实施例中,神经网络传感器可以根据接收到的微波信号和红外影像判断是否有人体处于跌倒状态,在确定了有人跌倒后,可以通过通信模块110将这一结果发送至其他外部设备,以便工作人员可以尽快的知晓有人体跌倒的危险情况,从而可以尽快的进行处置。可选地,该人体姿态识别传感器10还包括:红外线发射器,所述红外线发射器设置在所述固定架102远离所述容纳腔室的一侧,并与所述神经网络处理器104相连接,用于向外发射红外线。双目红外摄像头107可以采集环境中的红外影像,当所在环境处于黑暗状态或光线强度较低时,双目红外摄像头107就难以拍摄到足够清晰的红外影像。本申请实施例中通过设置红外线发射器,可以发射红外线,为双目红外摄像头107提供足够的红外线,提高红外影像的清晰度。在本申请实施例中,所述滤波罩108上还可以设置有与所述双目红外摄像头107相匹配的滤镜,所述滤镜用于滤除进入所述双目红外摄像头107内的环境光线。滤波罩108表面可以涂覆一层滤光膜或者仅在双目红外摄像头107对应的位置设置滤镜,从滤波罩108外侧无法观察到人体姿态识别传感器10内部结构。综上所述,本申请实施例提供的人体姿态识别传感器10包括底盖101、固定架102以及滤波罩108,在其内部容纳腔室内设置有神经网络传感器、微波发射天线105、微波接收天线106以及双目红外摄像头107,滤波罩108上还设置有挡板109,挡板109相对于滤波罩108的位置可以移动,使得挡板109可以对微波发射天线105发出的微波信号进行不同面积的遮蔽,从而改变微波信号的覆盖范围,使人体姿态识别传感器10的微波信号的覆盖范围可以根据实际需要调整,提高人体姿态势传感器的适用范围,满足不同场景下人体姿态识别的需要。本申请实施例还提供了一种人体姿态识别方法,应用于上述人体姿态识别传感器,所述人体姿态识别传感器与云服务器通信连接,所述云服务器用于建立深度学习神经网络,并使用预设跌倒影像对所述深度学习神经网络进行训练,如图7所示,该人体姿态识别方法包括以下步骤。步骤S101,根据接收到的微波信号,确定监测范围内是否存在人体。在实际使用中,可以在同一使用场景下布置多个人体姿态识别传感器,多个人体姿态识别传感器的检测范围互不相同。在检测是否存在人体时,可以先根据接收到的微波信号,确定检测范围内是否有物体移动。当检测到有物体移动时,基于所述微波信号确定移动的物体的心跳速率和呼吸速率。当确定移动的物体的心跳速率或呼吸速率满足预设条件时,确定检测范围内有人体。心跳速率和呼吸速率对应的预设条件可以根据使用场景的不同进行设置,例如,老年人的心跳速率和呼吸速率相比青年人要更低,在老年人活动频繁的场所,心跳速率和呼吸速率对应的预设条件就可以设置较低的阈值。同时,人体的心跳速率和呼吸速率与其他生命体也有所区别,通过接收到的微波信号可以确定移动的物体是否为人体。步骤S102,当确定所述监测范围内存在人体时,根据所述红外影像,确定目标人体在预设坐标系内的人体部位深度信息。人体姿态识别传感器在发射和接收微波信号的同时,还通过双目红外摄像头拍摄监测范围内的影像,当通过微波信号确定了监测范围内存在人体后,可以进一步的通过红外影像确定该目标人体的深度影像。详细的,可以先基于所述红外影像中同一目标点在每个红外摄像头影像平面上的位置信息,计算所述目标点在所述预设坐标系的三维坐标值。然后将所述三维坐标值转换为二维图像中的坐标值,确定多个目标点在所述二维图像中的深度信息,作为所述目标人体的人体部位深度信息。目标人体在监测范围内可能是不停移动的,通过红外影像对目标人体的监测也是实时的。计算得到的人体部位深度信息也是实时变化的。通过微波检测人体的步骤是较为粗略的,只能大致的确定人体所在的位置。由于人体具有一定的温度,其红外特征与环境中的物体的红外特征有所不同,通过红外影像可以较为准确的确定监测环境中的目标人体。本申请实施例中,人体姿态识别传感器采用的是双目红外摄像头,该双目红外摄像头包括两个摄像模组,且两个摄像模组之间具有一定的距离,形成类似人眼的双目架构。基于这样的双目红外摄像头,可以计算出红外影像中的某一目标点在两个摄像模组影像平面上的位置偏差,根据该位置偏差可以计算出目标点在三维空间中三维坐标。再转换至二维图像中后,可以恢复出该目标点的深度信息。本申请实施例中的目标点为目标人体上的某一点,通过对红外影像中多个目标点深度信息的计算,可以得到目标人体的整体深度信息。步骤S103,对所述目标人体进行人脸识别,确定所述目标人体的人员信息。在对人体进行监测过程中,需要确定该目标人体的相关信息,神经网络处理器可以预先记录有经常出入监测范围内的所有人员的人脸信息及对应的人员信息,神经网络处理器可以根据拍摄到的红外影像,对目标人体进行人脸识别,确定该目标人体的人员信息。当然,在一些开放式的使用场景中,神经网络传感器无法预先记录人员的人脸信息及人员信息,神经网络处理器可以对监测范围内的所有人员进行人脸识别,并为每个人员分配独立的标识信息,作为该人员的人员信息。步骤S104,基于预设人体部位预测模型,根据所述人体部位深度信息,绘制所述目标人体的骨骼模型。神经网络处理器在通过红外影像计算出目标人体的人体部位深度信息后,可以基于预设的人体部位预测模型,将目标人体的骨骼模型绘制出来。该人体部位预测模型可以是预先在云服务器上采用大量的包含有人体部位深度信息的图像对卷积神经网络进行训练,通过训练得到人体部位预测模型,神经网络传感器可以从云服务器上获取到经过训练的人体部位预测模型,并可以根据人体部位深度信息,绘制出目标人体的骨骼模型。在本申请实施例中,骨骼模型描述了人体骨骼中的一些主要关节点及主要关节点的连接关系,通过这些主要关节点的连接关系可以大致的确定人体的当前状态,例如人体在蹲下和站立状态下的关节点的状态是不一样的。步骤S105,使用训练结束的所述深度学习神经网络对所述骨骼模型进行监测。深度学习神经网络是在云服务器上完成训练的,云服务器上可以预先建立深度学习神经网络,使用大量的样本骨骼模型对该深度学习神经网络进行训练,样本骨骼模型可以为异常状态下的人体的骨骼模型,在本申请实施例中,异常状态的骨骼模型包括但不限于跌倒、长时间下蹲或长时间扶握其他物体。在对深度学习神经网络进行训练的过程中,可以先使用大量的处于不同跌倒状态、不同下蹲状态以及不同扶握其他物体状态的骨骼模型影像进行训练,长时间扶握其他物体可以是长时间扶墙或长时间扶握栏杆等状态。云服务器在完成深度学习神经网络的训练后,可以将训练完成的深度学习神经网络发送至人体姿态识别传感器,由人体姿态识别传感器在本地进行使用。步骤S106,当监测到所述骨骼模型为异常状态时,生成与所述人员信息对应的报警信息,并发送至所述云服务器,所述异常状态包括跌倒、长时间下蹲或长时间扶握其他物体。在人体姿态识别传感器在监测范围内识别到人体后,就可以对该人体进行实时的监测,并实时的判断该目标人体的骨骼模型是否进入异常状态。当监测到目标人体的骨骼模型为跌倒状态时,可以确定目标人体已经跌倒。在监测到目标人体的骨骼模型为下蹲状态或扶握其他物体状态时,神经网络处理器可以启动计时器,对进入下蹲状态或扶握其他物体状态的时长进行计时,当下蹲时长或扶握其他物体的时长超过预设时长时,即可确定目标人体下蹲时间过久或处于长时间扶墙或扶握其他物体的状态,即确定目标人体处于异常状态。在确定目标人体处于异常状态时,神经网络处理器可以根据预先确定的该目标人体的人员信息,将该目标人体处于异常状态的信息发送至云服务器,云服务器可以将这样的异常状态报警信息及时反馈给预先建立通信连接的移动终端。例如,在家庭使用环境中,可以预先通过人体姿态识别传感器对需要监控的人员的人脸进行记录,同时通过云服务器建立至少一个移动终端与该需要监控的人员的对应关系,在确定该需要监控的人员出现异常状态时,云服务器可以将报警信息发送至预先建立连接的移动终端。例如,在老人居住的房屋内,可以在老人经常活动的区域布置多个人体姿态识别传感器,并通过云服务器建立老人子女或工作人员的移动终端与房屋中人体姿态识别传感器的对应关系,云服务器在接收到房屋内人体姿态识别传感器发送的异常状态报警信息后,就可以将报警信息发送至老人子女或工作人员的移动终端,以便及时的发现老人的异常状态,并及时对老人进行处置。此外,本申请实施例中的异常状态还可以包括即将发病的状态。云服务器还可以对一些具有典型的骨骼特征的疾病对深度学习神经网络进行学习,例如,对于中风等疾病,病人在发病之前全身关节的连接状态与正常人体的连接状态会存在区别。可以预先采集某些疾病在发病之前的样本骨骼模型对深度学习神经网络进行训练,使得深度学习神经网络具备对某些疾病在发病之前的识别能力,通过人体姿态识别传感器可以通过对目标人体骨骼模型的识别,确定目标人体是否存在即将发病的疾病,并可以通过骨骼模型确定目标人体存在发病风险时,生成提示信息,对目标人体的看护人员进行提醒。可选地,本申请实施例中的人体姿态识别传感器还可以对某一时段内某一目标人体出现的次数进行记录。例如,在某些老人看护场所,被看护的老人一般具有固定的活动规律。如某一位老人一周内会有至少5次在看护场所活动,人体姿态识别传感器就会记录下老人一周内的活动次数。如果某一周内该老人的活动次数明显低于5次,人体姿态识别传感器还可以生成针对该老人的提示信息,由工作人员及时对老人进行电话或当面回访,以确定该老人是否存在疾病隐患。可选地,本申请实施例中的人体姿态识别传感器还可以预先设置需要监测的所有人员的信息,并根据人脸识别结果统计每个人员在监测范围内活动的时刻、在某一周期内出现的次数等信息,从而可以建立针对个人的行为数据库,从而可以进行后续的安全和风险预警。人体姿态识别传感器计算得到的结果可以上传云服务器进行存储,保证数据的存储安全。在另一种实施方式中,在配置有多个人体姿态识别传感器的场所中,还可以配置一个或多个控制终端,控制终端可以通过云服务器连接,控制终端中配置有一个或多个显示屏,可以将多个人体姿态识别传感器的实时识别结果进行展示,控制终端还可以对多个人体姿态识别传感器的人体识别结果进行统计,例如,可以统计当前识别到的总人数、每个人员在预设周期出现的次数。在人体姿态识别传感器生成报警信息后,云服务器还可以将报警信息通过控制终端进行展示和声光提醒,以便工作人员及时发现危险情况。本申请实施例提供的人体姿态识别传感器可以通过微波信号和红外影像,对监测范围内的人体进行行为监测。通过微波信号可以监测人体的呼吸速率、心跳速率等指标,同时结合红外影像可以建立人体的骨骼模型,通过骨骼模型可以监测人体的情况,在出现跌倒、久蹲等情况时,可以及时的发现并进行报警提醒。该人体姿态识别传感器采用嵌入式神经网络处理器,可以快速的完成人脸以及人体状态的检测,该传感器不会记录视频数据,不涉及用户隐私,不需配置相关的本地服务器、本体存储设备,节省系统布置成本。同时,传感器安装简单,是对人体的非介入式的被动监测,不改变被监测人员的日常习惯,同时可以获取用户更多的数据,提高监测准确性。该人体姿态识别传感器对网络带宽没有要求,无网络延迟,后续系统升级只需要增减传感器,并且可以通过远程OTAOvertheAirTechnology,空中下载技术进行系统功能的更新。如图8所示,本申请还提供了一种人体姿态识别系统100,包括多个人体姿态识别传感器10以及与所述人体姿态识别传感器10连接的云服务器20,其中,所述人体姿态识别传感器10包括:底盖和固定架,所述底盖和固定架固定并围合形成容纳腔室;电路板,所述电路板固定在所述容纳腔室内;设置在所述电路板上的神经网络处理器;与所述神经网络处理器连接的微波发射天线、微波接收天线和双目红外摄像头,所述微波发射天线用于发射微波信号,所述微波接收天线用于接收经其他物体反射的所述微波信号,所述双目红外摄像头用于采集红外影像;所述固定架上设置有用于固定所述微波发射天线、微波接收天线的第一固定孔以及用于固定所述双目红外摄像头的第二固定孔;滤波罩,所述滤波罩固定在所述固定架远离所述容纳腔室的一侧,所述滤波罩上开设有与所述第一固定孔相匹配的第一通孔;挡板,所述挡板设置在所述滤波罩远离所述固定架一侧,所述挡板上开设有与所述第一通孔相匹配的第二通孔,所述挡板可沿所述滤波罩所在平面移动,以通过调整所述第二通孔与所述第一通孔的重叠面积,改变所述微波信号的发射方向和接收方向;所述云服务器20用于针对预设跌倒影像建立深度学习神经网络,并对所述深度学习神经网络进行训练,以使所述人体姿态识别传感器10根据所述深度学习神经网络的训练结果对监测人体进行异常检测。以上所述,仅为本申请的各种实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
权利要求:1.一种人体姿态识别传感器,其特征在于,该人体姿态识别传感器包括:底盖和固定架,所述底盖和固定架固定并围合形成容纳腔室;电路板,所述电路板固定在所述容纳腔室内;设置在所述电路板上的神经网络处理器;与所述神经网络处理器连接的微波发射天线、微波接收天线和双目红外摄像头,所述微波发射天线用于发射微波信号,所述微波接收天线用于接收经其他物体反射的所述微波信号,所述双目红外摄像头用于采集红外影像;所述固定架上设置有用于固定所述微波发射天线、微波接收天线的第一固定孔以及用于固定所述双目红外摄像头的第二固定孔;滤波罩,所述滤波罩固定在所述固定架远离所述容纳腔室的一侧,所述滤波罩上开设有与所述第一固定孔相匹配的第一通孔;挡板,所述挡板设置在所述滤波罩远离所述固定架一侧,所述挡板上开设有与所述第一通孔相匹配的第二通孔,所述挡板可沿所述滤波罩所在平面移动,以通过调整所述第二通孔与所述第一通孔的重叠面积,改变所述微波信号的发射方向和接收方向。2.根据权利要求1所述的人体姿态识别传感器,其特征在于,所述滤波罩两端分别开设有滑槽,所述挡板上设置有与所述滑槽相匹配的滑块,所述挡板通过所述滑块相对所述滑槽滑动。3.根据权利要求1所述的人体姿态识别传感器,其特征在于,该人体姿态识别传感器还包括:设置在所述电路板上,与所述神经网络处理器相连接的通信模块,所述通信模块用于将所述神经网络处理器的处理结果发送至其他外部设备。4.根据权利要求1所述的人体姿态识别传感器,其特征在于,该人体姿态识别传感器还包括:红外线发射器,所述红外线发射器设置在所述固定架远离所述容纳腔室的一侧,并与所述神经网络处理器相连接,用于向外发射红外线。5.根据权利要求1所述的人体姿态识别传感器,其特征在于,所述滤波罩上设置有与所述双目红外摄像头相匹配的滤镜,所述滤镜用于滤除进入所述双目红外摄像头内的环境光线。6.一种人体姿态识别方法,其特征在于,应用于权利要求1至5任意一项所述的人体姿态识别传感器,所述人体姿态识别传感器预先建立与云服务器的通信连接,所述云服务器用于建立深度学习神经网络,并使用预设跌倒影像对所述深度学习神经网络进行训练,该人体姿态识别方法包括:根据接收到的微波信号,确定监测范围内是否存在人体;当确定所述监测范围内存在人体时,根据所述红外影像,确定目标人体在预设坐标系内的人体部位深度信息;对所述目标人体进行人脸识别,确定所述目标人体的人员信息;基于预设人体部位预测模型,根据所述人体部位深度信息,绘制所述目标人体的骨骼模型;使用训练结束的所述深度学习神经网络对所述骨骼模型进行监测;当监测到所述骨骼模型为异常状态时,生成与所述人员信息对应的报警信息,并发送至所述云服务器,所述异常状态包括跌倒、长时间下蹲或长时间扶握其他物体。7.根据权利要求6所述的人体姿态识别方法,其特征在于,根据接收到的微波信号,确定监测范围内是否有人体的步骤包括:根据接收到的微波信号,确定检测范围内是否有物体移动;当检测到有物体移动时,基于所述微波信号确定移动的物体的心跳速率和呼吸速率;当确定移动的物体的心跳速率或呼吸速率满足预设条件时,确定检测范围内有人体。8.根据权利要求6所述的人体姿态识别方法,其特征在于,当确定监测范围内存在人体时,根据所述红外影像,确定目标人体在预设坐标系内的人体部位深度信息的步骤包括:基于所述红外影像中同一目标点在每个红外摄像头影像平面上的位置信息,计算所述目标点在所述预设坐标系的三维坐标值;将所述三维坐标值转换为二维图像中的坐标值,确定多个目标点在所述二维图像中的深度信息,作为所述目标人体的人体部位深度信息。9.根据权利要求6所述的人体姿态识别方法,其特征在于,所述预设人体部位预测模型中包括人体多个关键骨骼点的连接关系,基于预设人体部位预测模型,根据所述人体部位深度信息,绘制所述目标人体的骨骼模型的步骤包括:根据所述红外影像,确定所述目标人体的至少一个关键骨骼点;根据所述多个关键骨骼点的连接关系,以及所述人体部位深度信息,绘制得到所述目标人体的骨骼模型。10.一种人体姿态识别系统,其特征在于,包括权利要求1至5任意一项所述的人体姿态识别传感器,以及与所述人体姿态识别传感器连接的云服务器,所述云服务器用于针对预设跌倒影像建立深度学习神经网络,并对所述深度学习神经网络进行训练,以使所述人体姿态识别传感器根据所述深度学习神经网络的训练结果对监测人体进行异常检测。
百度查询: 中侨健康管理(上海)有限公司 人体姿态识别传感器、人体姿态识别方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。