买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国矿业大学;徐州奉火智能科技有限公司

摘要：本申请提供一种基于多模式视觉系统的举高消防灭火方法及系统，其中，多模式视觉系统包括举高臂末端感知系统、车体感知视觉系统、压力传感系统、流量传感系统和控制器，举高消防灭火方法包括以下步骤：S1、举高臂末端感知系统检测火点并将计算获得的该火点的空间位置传送至控制器获得期望灭火点；S2、车体感知视觉系统对作业范围内进行扫描与环境建模，获得在作业范围内存在的若干障碍物位置坐标即障碍物的分布位置，并将若干障碍物位置坐标传送至控制器，本申请能够对期望灭火点的位置进行确认，能够得到考虑障碍物的分布为位置、举高臂动作对流量和压力的影响的举高臂的关节期望角度和消防炮的水平与俯仰关节角度。

主权项：1.一种基于多模式视觉系统的举高消防灭火方法，其中，所述多模式视觉系统（3）包括举高臂末端感知系统、车体感知视觉系统、压力传感系统（16）、流量传感系统（17）和控制器（5），其特征在于，所述举高消防灭火方法包括以下步骤：S1、所述举高臂末端感知系统检测火点并将计算获得的该火点的空间位置传送至控制器（5）获得期望灭火点；S2、所述车体感知视觉系统对作业范围内进行扫描与环境建模，获得在作业范围内存在的若干障碍物位置坐标即障碍物的分布位置，并将若干障碍物位置坐标传送至控制器（5）；S3、所述压力传感系统（16）、流量传感系统（17）分别将检测的灭火剂出入口的压力数据、灭火剂出入口的流量数据传送至控制器（5）以获得举高臂（2）的关节变化对灭火剂出入口的压力数据、灭火剂出入口的流量数据进行影响的关系数据；S4、所述控制器（5）建立包括灭火剂射流姿态、举高臂（2）以及消防炮（4）的灭火剂射流轨迹模型以获得灭火剂射流落点的空间位置点，然后以灭火剂射流落点的空间位置点与期望灭火点的偏差小于一定阈值为目标，以举高臂（2）的各臂关节角度为求解变量，基于所述若干障碍物的分布位置、举高臂（2）的关节变化对灭火剂出入口的压力数据、灭火剂出入口的流量数据进行影响的关系数据为约束条件，建立优化目标函数，并对优化目标函数采用优化算法进行寻优获得举高臂（2）的关节期望角度和消防炮（4）的水平与俯仰关节角度；S5、所述控制器（5）基于获得的所述举高臂（2）的关节期望角度和消防炮（4）的水平与俯仰关节角度控制举高臂（2）及消防炮（4）的各个关节运动到期望角度位置，并通过车体感知视觉系统提供举高臂（2）运动时的冗余安全保护；S6、举高臂末端感知系统基于所述冗余安全保护进行火点追踪并确保火点始终出现在举高臂末端感知系统的检测视场内，到达期望角度位置后，控制器（5）控制消防炮（4）喷射灭火剂，打击火点，灭火成功后，选择下一火点，重复以上步骤；所述获得期望灭火点包括以下步骤：S11、基于举高臂末端感知系统中的上侧二自由度云台（9）进行360°旋转带动其上的红外双目相机（7）转动发现高温区域并映射到其上的监视相机（8）的画面中获得火场像素区域A1，监视相机（8）通过语义分割进行视野的计算以获得火灾在图像中的占比区域A2；S12、所述监视相机（8）基于得到的火场像素区域A1和火灾在图像中的占比区域A2计算图像交并比，如果结果大于阈值Tfire，则确认该点为火点；S13、基于确认的火点，将举高臂末端感知系统中的上侧二自由度云台（9）上的自然光双目相机（6）的视场、红外双目相机（7）的视场映射到监视相机（8）的视场中，形成多相机视场重叠映射区域，以多相机视场重叠映射区域的图像中心位置uc,vc为期望点，监视相机（8）实时检测火点的图像位置uf,vf；S14、在监视相机（8）的视场下设置视觉伺服控制器，其中输入为多相机视场重叠映射区域的图像中心位置与监视相机（8）实时检测火点的图像位置的偏差，输出为上侧二自由度云台（9）的水平和俯仰转动速度，公式如下：，其中，k为整定系数，为图像逆雅可比矩阵，vh为上侧二自由度云台（9）水平转动速度，vp为上侧二自由度云台（9）俯仰转动速度；S15、基于输出的上侧二自由度云台（9）的水平和俯仰转动速度带动自然光双目相机（6）、红外双目相机（7）和监视相机（8）转动，直至多相机视场重叠映射区域的图像中心位置与监视相机（8）实时检测火点的图像位置的偏差为0后，火点出现在自然光双目相机（6）和红外双目相机（7）的视场中，并进行火点的空间定位得到自然光双目相机（6）定位信息和红外双目相机（7）定位信息，然后，采用加权方式对自然光双目相机（6）定位信息和红外双目相机（7）定位信息进行融合，得到火点的空间位置信息Xf,Yf,Zf；S16、所述控制器（5）记录上侧二自由度云台（9）的水平角度和俯仰角度以及火点的空间位置信息Xf,Yf,Zf，并将火点的空间位置信息转换至举高臂（2）的基座系下得到转换后的期望灭火点Xt,Yt,Zt。

全文数据：

权利要求：

百度查询： 中国矿业大学 徐州奉火智能科技有限公司 一种基于多模式视觉系统的举高消防灭火方法及系统