买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本申请涉及一种基于视觉检测的扶梯载客意外事故监测预警方法及装置，其包括步骤分别获取视频流各目标的边界框、姿态信息以及类别信息；分别获取视频流目标的图像坐标位置；基于摄像头和图像坐标位置获得各目标的世界坐标：基于视频流中相邻帧中同一目标的边界框变化发出第一预警信息；获取目标的运动信息，并基于目标运动信息发出第二预警信息；判断乘客与携带物的相关度，并基于乘客与携带物的相关度发出第三预警信息；根据第一预警信息、第二预警信息或第三预警信息进行预警动作。该方法通过图像信息获得扶梯上目标状态，并基于目标状态进行区分预警，以实现对扶梯上意外情况进行自动识别并及时预警，提高扶梯监测效率，确保扶梯运行的安全性。

主权项：1.一种基于视觉检测的扶梯载客意外事故监测预警方法，其特征在于，包括如下步骤：基于图像识别算法分别获取视频流各目标的边界框、姿态信息以及类别信息；所述目标的类别信息至少包括乘客和携带物；基于目标跟踪算法分别获取视频流同一目标的图像坐标位置；基于已标定内外参数的摄像头并结合目标的图像坐标位置获得各目标的世界坐标；其中获得各目标的世界坐标时，所采用的坐标转换方法为: ;基于目标j的坐标转换方法获得对应目标j的齐次方程： ；以作为齐次坐标的缩放因子，解得： ；则目标的世界坐标为： ；其中和为视频帧中目标j的图像坐标位置，为视频帧中目标j像素点所在的纵列位置，为视频帧中目标j像素点所在的横列位置；K为摄像头的内参数矩阵，K-1为摄像头的内参数矩阵的逆矩阵；R为旋转矩阵；t为平移向量；、和为目标j的世界坐标，为目标j的X向世界坐标，为目标j的Y向世界坐标，为目标j的Z向世界坐标，为目标j的已知的Z向世界坐标值；、和为目标j的齐次坐标，即为目标j的X向世界坐标的齐次坐标，为目标j的Y向世界坐标的齐次坐标，为目标j的Z向世界坐标的齐次坐标；基于视频流中相邻帧中同一目标的边界框变化发出第一预警信息：获取视频帧i中目标的边界框的至少一组对角坐标（Ai,cor,Bi,cor）和（ai,cor,bi,cor）；并根据视频帧i中目标的边界框的对角坐标计算获取视频帧i中目标的边界框面积；获取视频帧i-1中目标的边界框的至少一组对角坐标（Ai-1,cor,Bi-1,cor）和（ai-1,cor,bi-1,cor），并根据视频帧i-1中目标的边界框的对角坐标计算获取视频帧i-1中目标的边界框面积；根据相邻视频帧中目标的边界框面积获取目标的边界框面积的变化率: ;其中为目标的边界框面积的变化率;为视频帧i中目标的边界框面积；为视频帧i-1中目标的边界框面积；为视频帧i与视频帧i-1之间时间间隔；判断相邻视频帧中目标边界框面积变化率与预设阈值大小，若，则表明扶梯上目标发生跌倒，此时发出第一预警信息；若，则表明扶梯上目标无跌倒情况，此时不发出第一预警信息；基于视频流中各目标的世界坐标位置变化获取对应目标的运动信息，并基于目标运动信息发出第二预警信息；其中获取对应目标的运动信息时，采用卡尔曼滤波算法计算目标在垂直方向的运动速度，其计算步骤包括：确定目标j的初始状态向量，所述目标j的状态向量包括目标位置和目标速度，并基于目标j的初始状态向量建立状态转移方程： ;基于目标j的初始状态向量建立观测方程： ；其中为目标j在k+1时刻的状态向量；为目标j在k时刻的状态向量；为目标j在k时刻的观测向量；A为状态转移矩阵；H为观测矩阵；为过程噪声；为观测噪声；为目标j状态转移时间间隔；基于目标的状态转移方程预测目标在下一时刻的状态向量，并基于目标的观测方程计算目标在当前时刻的状态向量；利用当前时刻的状态向量对所预测的下一时刻的状态向量进行修正，获得修正后的状态向量；基于修正后的状态向量获取目标在下一时刻的目标速度；基于乘客与携带物的姿态信息和世界坐标判断乘客与携带物的相关度，并基于乘客与携带物的相关度发出第三预警信息；根据第一预警信息、第二预警信息或第三预警信息进行预警动作，所述预警动作至少包括控制室报警、扶梯报警或扶梯停止。

全文数据：

权利要求：

百度查询： 北京尚优力达科技有限公司 一种基于视觉检测的扶梯载客意外事故监测预警方法及装置