买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：酷黑科技(北京)有限公司;北京理工大学

摘要：本发明公开了一种空地协同作业系统，包括：无人车，通过在地面上的移动构建目标场景的三维地图，并实时定位自身在三维地图的地图坐标系下的位姿；无人机，用于对作业目标进行作业；数据采集器，用于获取无人机与无人车的第一相对位姿以及作业目标与无人车的第二相对位姿；数据处理器，与无人车、无人机以及数据采集器均相连，用于根据无人车在地图坐标系下的位姿、第一相对位姿以及第二相对位姿，得到无人机与作业目标的第三相对位姿，并将第三相对位姿发送至无人机，以使无人机根据第三相对位姿调整位姿至预设作业范围内。该空地协同作业系统通过无人车协助无人机在目标场景中精确定位。本发明还公开了一种上述空地协同作业系统的定位方法。

主权项：1.一种空地协同作业系统，其特征在于，包括：无人车1，通过在地面上的移动构建目标场景的三维地图，并实时定位自身在所述三维地图的地图坐标系下的位姿；无人机2，用于对作业目标5进行作业；数据采集器3，用于获取所述无人机2与所述无人车1的第一相对位姿以及所述作业目标5与所述无人车1的第二相对位姿；数据处理器4，与所述无人车1、所述无人机2以及所述数据采集器3均相连，用于根据所述无人车1在所述地图坐标系下的位姿、所述第一相对位姿以及所述第二相对位姿，得到所述无人机2与所述作业目标5的第三相对位姿，并将所述第三相对位姿发送至所述无人机2，以使所述无人机2根据所述第三相对位姿调整位姿至预设作业范围内；所述获取所述无人车1与无人机2的第一相对位姿，包括：利用所述无人车1和所述无人机2中的一者上搭载的定位传感器检测所述无人车1和所述无人机2中的另一者上设置的视觉特征标识11，得到所述视觉特征标识11在所述定位传感器的坐标系下的位姿；利用所述数据处理器4，根据所述视觉特征标识11在所述定位传感器的坐标系下的位姿，得到所述第一相对位姿；所述获取作业目标5与所述无人车1的第二相对位姿，包括：利用所述无人机2上搭载的作业传感器获取所述作业目标5的图像；利用与所述作业传感器建立有数据连接的图像处理器，根据所述作业目标5的图像获取所述作业目标5在所述作业传感器的坐标系下的第四相对位姿；利用所述数据处理器4根据所述第四相对位姿和所述第一相对位姿，通过空间坐标系变换，得到所述第二相对位姿。

全文数据：一种空地协同作业系统及其定位方法技术领域本发明涉及多机器人系统技术领域，更具体地说，涉及一种空地协同作业系统。此外，本发明还涉及一种上述空地协同作业系统的定位方法。背景技术随着无人机技术的发展，利用无人机代替作业人员在三维复杂环境下进行作业，对减少经济成本、减轻劳动强度以及降低作业人员在执行工作任务时的安全风险具有重要意义，成为本领域技术人员研究的一个热点。现有技术中的无人机，主要用来执行侦查、巡检等沿特定路线的非接触性任务，因此，对无人机的定位精度要求并不高。但是，在执行复杂的空中作业任务时，尤其是接触性任务，无人机上搭载的作业装置进行接触式作业时会受到反作用力，而且作业装置的有效作业范围有限，识别作业目标的机载摄像头也会受到焦距和视野的限制，无人机必须要不断的调整姿态，以保证其在能够顺利执行作业任务的合适范围之内，因此，无人机在场景中的精确定位尤其重要。目前，无人机在空中作业时，主要采用GPS、惯性导航系统inertianavigationsystem，INS或载波相位差分技术Real-timekinematic，RTK等定位技术进行定位。然而，GPS定位容易受到电磁干扰，而且GPS数据的更新频率一般在1Hz-2Hz，定位精度一般在米级，单纯的依赖GPS并不能满足无人机空中作业的需求；而INS定位会随着时间的增加存在漂移误差；RTK定位技术成本较高，在固定基站没有覆盖的范围内需要配备移动基准站，并且需要GPS数据的支持。因此，如何使无人机获得自身在场景中的精确位置，是目前本领域技术人员亟待解决的问题。发明内容有鉴于此，本发明的目的是提供一种空地协同作业系统及其定位方法，通过无人车协助无人机在目标场景中精确定位，实现无人机与无人车的协同工作，即使是在无人机的自身视野存在盲区，无法观测到作业目标时，也能够实现无人机的精确定位，满足无人机对作业目标执行作业任务的需求。为了实现上述目的，本发明提供如下技术方案：一种空地协同作业系统，包括：无人车，通过在地面上的移动构建目标场景的三维地图，并实时定位自身在所述三维地图的地图坐标系下的位姿；无人机，用于对作业目标进行作业；数据采集器，用于获取所述无人机与所述无人车的第一相对位姿以及所述作业目标与所述无人车的第二相对位姿；数据处理器，与所述无人车、所述无人机以及所述数据采集器均相连，用于根据所述无人车在所述地图坐标系下的位姿、所述第一相对位姿以及所述第二相对位姿，得到所述无人机与所述作业目标的第三相对位姿，并将所述第三相对位姿发送至所述无人机，以使所述无人机根据所述第三相对位姿调整位姿至预设作业范围内。优选地，所述数据采集器包括：第一相对位姿获取模块，用于获取所述第一相对位姿；第二相对位姿获取模块，用于获取所述第二相对位姿。优选地，所述第一相对位姿获取模块包括视觉特征标识和定位传感器，所述定位传感器用于检测所述视觉特征标识以获得所述第一相对位姿，所述定位传感器与数据处理器相连；所述视觉特征标识设置在所述无人车和所述无人机中的一者上；所述定位传感器设置在所述无人车和所述无人机中的另一者上。优选地，所述第二相对位姿获取模块包括：设于所述无人机的作业传感器，用于当所述作业目标在其视野范围内时获取所述作业目标的图像；图像处理器，与所述作业传感器相连，用于根据所述作业目标的图像获取所述作业目标在所述作业传感器的坐标系下的第四相对位姿，所述图像处理器与所述数据处理器相连；所述数据处理器还用于根据所述第一相对位姿和所述第四相对位姿，得到所述第二相对位姿。优选地，所述无人车设有用于获取所述目标场景的基础环境信息的激光雷达传感器和用于测量所述无人车的里程的里程计，所述激光雷达传感器和所述里程计分别与所述无人车的车载主控制器相连，以使所述车载主控制器根据所述基础环境信息和所述里程对所述目标场景构建所述三维地图，并获得所述无人车在所述地图坐标系下的位姿。优选地，所述无人机设有用于获取所述激光雷达传感器视野盲区内的补充环境信息的建图传感器，所述建图传感器与所述车载主控制器相连，以使所述车载主控制器根据所述基础环境信息、所述里程和所述补充环境信息对所述目标场景构建所述三维地图。优选地，所述定位传感器和所述建图传感器为同一个视觉传感器。一种空地协同作业系统的定位方法，应用于上述任意一种空地协同作业系统，包括：利用无人车构建目标场景的三维地图并获取所述无人车自身在所述三维地图的地图坐标系下的位姿；利用数据采集器获取所述无人车与无人机的第一相对位姿，并利用所述数据采集器获取作业目标与所述无人车的第二相对位姿；利用数据处理器根据所述无人车在所述地图坐标系下的位姿、所述第一相对位姿以及所述第二相对位姿，得到所述无人机与所述作业目标的第三相对位姿，并将所述第三相对位姿发送至所述无人机，以使所述无人机根据所述第三相对位姿调整位姿至预设作业范围内。优选地，所述利用无人车构建目标场景的三维地图并获取所述无人车自身在所述三维地图的地图坐标系下的位姿，包括：利用所述无人车的里程计测量所述无人车的里程信息；利用所述无人车的激光雷达传感器获取所述目标场景的基础环境信息；利用所述无人车的车载主控制器根据所述里程信息和所述基础环境信息，采用Gmapping算法构建所述目标场景的所述三维地图，并获取所述无人车在所述地图坐标系下的位姿。优选地，所述利用无人车构建目标场景的三维地图并获取所述无人车自身在所述三维地图的地图坐标系下的位姿，包括：利用所述无人车的里程计测量所述无人车的里程信息；利用所述无人车的激光雷达传感器获取所述目标场景的基础环境信息；利用所述无人机的建图传感器获取所述激光雷达传感器视野盲区内的补充环境信息；利用所述无人车的车载主控制器根据所述里程信息、所述基础环境信息和所述补充环境信息，采用Gmapping算法构建所述目标场景的所述三维地图，并获取所述无人车在所述地图坐标系下的位姿。优选地，所述利用数据采集器获取所述无人车与无人机的第一相对位姿，包括：利用所述无人车和所述无人机中的一者上搭载的定位传感器检测所述无人车和所述无人机中的另一者上设置的视觉特征标识；其中，所述视觉特征标识为AprilTag标识；利用所述定位传感器，采用AprilTag识别算法，对所述定位传感器获取的含有所述视觉特征标识的图像进行处理，得到所述视觉特征标识在所述定位传感器的坐标系下的位姿；利用所述数据处理器根据所述定位传感器在所述无人机的无人机坐标系下的位姿、所述视觉特征标识在所述无人车的无人车坐标系下的位姿、以及所述视觉特征标识在所述定位传感器的坐标系下的位姿，得到所述第一相对位姿；或者，利用所述数据处理器根据所述定位传感器在所述无人车的无人车坐标系下的位姿、所述视觉特征标识在所述无人机的无人机坐标系下的位姿、以及所述视觉特征标识在所述定位传感器的坐标系下的位姿，得到所述第一相对位姿。优选地，所述利用所述数据采集器获取作业目标与所述无人车的第二相对位姿，包括：利用所述无人机上搭载的作业传感器获取所述作业目标的图像；利用与所述作业传感器建立有数据连接的图像处理器，根据所述作业目标的图像获取所述作业目标在所述作业传感器的坐标系下的第四相对位姿；利用所述数据处理器根据所述第四相对位姿和所述第一相对位姿，通过空间坐标系变换，得到所述第二相对位姿。优选地，所述的利用所述数据处理器根据所述无人车在所述地图坐标系下的位姿、所述第一相对位姿和所述第二相对位姿，得到所述无人机与所述作业目标的第三相对位姿，包括：利用数据处理器根据所述无人车在所述地图坐标系下的位姿和所述第一相对位姿，得到所述无人机在所述地图坐标系下的位姿；利用所述数据处理器根据所述无人车在所述地图坐标系下的位姿和所述第二相对位姿，得到所述作业目标在所述地图坐标系下的位姿；利用所述数据处理器根据所述无人机在所述地图坐标系下的位姿和所述作业目标在所述地图坐标系下的位姿，得到所述第三相对位姿。本发明提供的空地协同作业系统，通过无人车对目标场景构建三维地图，并实时定位无人车自身在地图坐标系下的位姿，同时，利用数据采集器获取无人车与无人机的第一相对位姿，将无人车作为无人机在地面的定位参照物，通过无人车协助无人机在目标场景中精确定位。同时，数据采集器可获取作业目标与无人车的第二相对位姿，再通过数据处理器进行空间坐标系变换，对无人车在地图坐标系下的位姿、无人机与无人车的第一相对位姿、以及作业目标与无人车的第二相对位姿进行数据处理，可得到无人机与作业目标的第三相对位姿，数据处理器将第三相对位姿发送至无人机后，使无人机根据第三相对位姿调整位姿至预设作业范围内。由此可以看出，本发明提供的空地协同作业系统，突破了现有技术中无人车的应用局限，解决了空中机动平台和陆上机动平台“各自为战”、“协同不力”的问题，真正实现了无人机与无人车的协同工作。即使是在无人机的自身视野存在盲区，无法观测到作业目标时，也能够实现无人机的精确定位，满足对作业目标执行作业任务的需求，尤其适用于空中复杂的接触性作业。本发明提供的空地协同作业系统的定位方法，可实现无人机的精确定位。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本发明具体实施例所提供的空地协同作业系统的结构框图；图2为本发明具体实施例所提供的空地协同作业系统的作业示意图；图3为图2的另一视角示意图；图4为图2中无人机的结构示意图；图5为图2中无人车的结构示意图；图6为图2中无人机跟随无人车调整位姿的运动轨迹示意图；图7为本发明具体实施例所提供的空地协同作业系统的定位方法的流程图；图8为图7中利用无人车构建目标场景的三维地图并获取无人车自身在三维地图的地图坐标系下的位姿的一种优选方案的流程图；图9为图7中利用无人车构建目标场景的三维地图并获取无人车自身在三维地图的地图坐标系下的位姿的另一种优选方案的流程图；图10为图7中利用数据采集器获取无人车与无人机的第一相对位姿的一种优选方案的流程图；图11为图7中利用数据采集器获取作业目标与无人车的第二相对位姿的一种优选方案的流程图；图12为图7中利用数据处理器获取无人机与作业目标的第三相对位姿的流程图。图1至图6中的附图标记如下：1为无人车、11为视觉特征标识、12为激光雷达传感器、13为无人车运动轨迹、2为无人机、21为深度摄像机、22为机械臂、23为无人机运动轨迹、3为数据采集器、4为数据处理器、5为作业目标。具体实施方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明的核心是提供一种空地协同作业系统及其定位方法，通过无人车协助无人机在目标场景中精确定位，实现无人机与无人车的协同工作，即使是在无人机的自身视野存在盲区，无法观测到作业目标时，也能够实现无人机的精确定位，满足无人机对作业目标执行作业任务的需求。请参考图1-图6，图1为本发明具体实施例所提供的空地协同作业系统的结构框图；图2为本发明具体实施例所提供的空地协同作业系统的作业示意图；图3为图2的另一视角示意图；图4为图2中无人机的结构示意图；图5为图2中无人车的结构示意图；图6为图2中无人机跟随无人车调整位姿的运动轨迹示意图。本发明提供一种空地协同作业系统，包括协同工作的无人机2和无人车1，无人机2优选搭载有机械臂22，用于对作业目标5进行作业；无人车1用于在目标场景中移动，并构建目标场景的三维地图，三维地图对应的坐标系称为地图坐标系，无人车1根据其构建的三维地图可实时定位自身在地图坐标系下的位姿。需要说明的是，无人机2和无人车1的主体结构与现有技术中常规的无人机和无人车的结构相同，无人车1构建目标场景的三维地图的具体方式可参见现有技术，在此不再赘述。优选地，无人机2为涵道式飞行器，例如，双涵道作业飞行器。优选地，无人机2为系留无人机，也即，无人机2与无人车1通过系留线缆相连，以实现无人机2跟随无人车1运行。进一步优选地，无人车1设有用于对无人机2供电的供电装置，无人机2设有电源模块，供电装置与电源模块通过系留线缆相连。也即，通过系留线缆实现供电装置与电源模块的连接，从而可通过无人车1上的供电装置为无人机2进行充电，该方案充分发挥了无人车1载荷大和续航时间长的优点。当然，无人车1还可以作为无人机2的运载停靠平台，在无人机2进入目标场景之前，通过无人车1搭载无人机2并将其输送至目标场景，以节约无人机2的续航时间。在此基础上，还可以在无人车1上设置用于为无人机2充电的充电装置，以在无人机2停靠在无人车1上时为无人机2充电，从而为无人机2提供充电保障。该空地协同作业系统还包括数据采集器3和数据处理器4，数据采集器3用于获取无人车1与无人机2的第一相对位姿、以及作业目标5与无人车1的第二相对位姿；数据采集器3与数据处理器4相连，以将第一相对位姿和第二相对位姿发送至数据处理器4；同时，无人车1与数据处理器4相连，以将无人车1在地图坐标系下的位姿发送至数据处理器4；数据处理器4对其获取的无人车1在地图坐标系下的位姿、第一相对位姿、以及第二相对位姿进行数据处理，得到无人机2与作业目标5的第三相对位姿；数据处理器4与无人机2相连，以将处理后得到的无人机2与作业目标5的第三相对位姿发送至无人机2，使无人机2根据第三相对位姿调整位姿至预设作业范围内。可以理解的是，数据处理器4优选将其处理后得到的无人机2与作业目标5的第三相对位姿发送至无人机2的机载主控制器，通过机载主控制器控制无人机2的飞控系统对无人机2进行调整位姿。需要说明的是，预设作业范围是指无人机2相对作业目标5能够正常完成空中作业任务的作业区域。本发明中“数据采集器3与数据处理器4相连、无人车1与数据处理器4相连、以及数据处理器4与无人机2相连”，是指数据采集器3、无人车1和无人机2可分别与数据处理器4建立通信连接，以实现信息的传输。需要说明的是，本发明中的数据处理器4可以为独立于无人机2和无人车1的单独的数据处理模块，也可以为这样的方案，数据处理器4设于无人车1或无人机2上，无人车1和无人机2之间建立有通信连接。可以理解的是，数据处理器4根据无人车1在地图坐标系下的位姿和无人机2与无人车1的第一相对位姿，通过空间坐标系变换，可以得到无人机2在地图坐标系下的位姿，也即，实现无人机2在目标场景中的定位。又由于作业目标5在目标场景中具有确定的位置，数据处理器4通过作业目标5与无人车1的第二相对位姿以及无人车1在地图坐标系下的位姿，即可得到作业目标5在地图坐标系下的位姿；因此，数据处理器4根据无人机2在地图坐标系下的位姿和作业目标5在地图坐标系下的位姿，通过空间坐标系变换，即可得到无人机2与作业目标5的第三相对位姿。也就是说，本发明通过无人车1协助无人机2在目标场景中精确定位，实现无人机2与无人车1的协同工作，充分利用无人车1机动灵活的特点，将无人车1作为无人机2定位的参照物，使无人机2跟随无人车1的运动轨迹来调整位姿。例如，如图6所示，无人车1根据其构建的目标场景的三维地图，实时定位自身在地图坐标系中的位姿，并自主导航运行，形成无人车运动轨迹13；在无人车1运行过程中，无人车1在地图坐标系中的位姿实时变化，因此，使无人机2与无人车1的第一相对位姿实时发生变化，而作业目标5在目标场景中具有确定的位置，因此，作业目标5在地图坐标系中具有确定的位姿坐标，从而使无人机2跟随无人车1的运动轨迹不断的调整自身位姿，形成无人机运动轨迹23，以保持无人机2与作业目标5的第三相对位姿满足预设作业范围要求。考虑到数据采集器3获取第一相对位姿和第二相对位姿的方便性，在上述实施例的基础之上，数据采集器3包括第一相对位姿获取模块和第二相对位姿获取模块，第一相对位姿获用于获取无人机2与无人车1的第一相对位姿；第二相对位姿获取模块用于获取作业目标5与无人车1的第二相对位姿。考虑到第一相对位姿获取模块获取无人机2与无人车1的第一相对位姿的具体实现，在上述实施例的基础之上，第一相对位姿获取模块包括视觉特征标识11和定位传感器，定位传感器用于检测视觉特征标识11以获得第一相对位姿，定位传感器与数据处理器4相连，以将第一相对位姿发送至数据处理器4；视觉特征标识11设置在无人车1和无人机2中的一者上；定位传感器设置在无人车1和无人机2中的另一者上。优选地，视觉特征标识11设置在无人车1上，定位传感器设置在无人机2上。可以理解的是，一旦视觉特征标识11固定在无人车1上后，视觉特征标识11在无人车1的无人车坐标系下的位姿即确定，优选地，视觉特征标识11携带有其在无人车坐标系下的位姿信息。同理，定位传感器固定后，其在无人机2的无人机坐标系下的位姿即可确定。当定位传感器检测到视觉特征标识11后，即可获得视觉特征标识11在定位传感器坐标系下的位姿，定位传感器将视觉特征标识11在定位传感器坐标系下的位姿发送至数据处理器4后，数据处理器4通过空间坐标系变换，即可得到无人车坐标系与无人机坐标系之间的相对位姿，也即，无人车1与无人机2的第一相对位姿。本发明对视觉特征标识11的具体结构不做限定，例如，视觉特征标识11可以为AprilTag标识，AprilTag标识的数据量少，特征明显，易于识别，且受光照、偏角、局部遮挡等因素的影响小，同时，AprilTag标识对距离及分辨率的要求低，因此，适用于无人机2的精准定位。优选地，视觉特征标识11为二维码标识。定位传感器优选为深度摄像机。需要说明的是，本发明对定位传感器对视觉特征标识11的具体识别方法不做限定，本领域技术人员可参见现有技术。优选地，深度摄像机采用AprilTag识别算法，对其获取的含有AprilTag标识的图像进行处理，得到AprilTag标识在深度摄像机的坐标系下的位姿。需要说明的是，AprilTag识别算法为现有技术中已成熟的算法，其计算步骤及计算原理请参见现有技术，本文不再赘述。本发明的主要改进点在于，将AprilTag识别算法应用于深度摄像机对AprilTag标识的识别。考虑到第二相对位姿获取模块获取作业目标5与无人车1的第二相对位姿的具体实现，在上述实施例的基础之上，第二相对位姿获取模块包括作业传感器和图像处理器，作业传感器设于无人机2上，用于当作业目标5在其视野范围内时获取作业目标5的图像；图像处理器与作业传感器相连，用于根据作业目标5的图像获取作业目标5在作业传感器的坐标系下的第四相对位姿，图像处理器与数据处理器4相连，以将作业目标5在作业传感器的坐标系下的第四相对位姿发送至数据处理器4，数据处理器4还用于根据第一相对位姿和第四相对位姿，得到第二相对位姿。也就是说，本实施例通过作业传感器来检测作业目标5，当随着无人机2的飞行，作业目标5进入作业传感器的视野时，作业传感器可以获得作业目标5的图像，并在图像处理器的处理下，得到作业目标5在作业传感器的坐标系下的第四相对位姿，可以理解的是，作业传感器与无人机2具有确定的相对位置，因此，通过坐标变换，可得到作业目标5在无人机坐标系下的位姿。因此，数据处理器4可根据无人车1在地图坐标系下的位姿、无人机2与无人车1的第一相对位姿和作业目标5在作业传感器的坐标系下的位姿，通过空间坐标系变换，得到作业目标5在地图坐标系下的位姿。可以理解的是，在本实施例中，当作业目标5在作业传感器的视野范围内时，无人机2可以通过自身搭载的作业传感器来检测作业目标5，从而根据作业传感器检测的信息进行无人机2自身的位姿调整。同时，作业传感器通过图像处理器将作业目标5在作业传感器的坐标系下的位姿发送至数据处理器4，经过数据处理器4的处理，可确定作业目标5在地图坐标系下的位姿。当作业目标5在作业传感器的视野盲区内时，这时，作业传感器将无法检测到作业目标5，无人机2无法利用自身搭载的作业传感器来定位，因此，无人机2通过无人车1的协助来精确定位。当然，也可以在无人车1上设置用于获取作业目标5的位姿的第二作业传感器，这时，第二作业传感器与无人车1具有确定的位置，第二作业传感器获取的作业目标5的位姿是相对于第二作业传感器的坐标系的位姿，再根据第二作业传感器的坐标系与无人车坐标系之间的相对位姿、以及无人车1在地图坐标系下的位姿，即可得到作业目标5在地图坐标系下的位姿，需要说明的是，在该方案中，图像处理器可以集成到第二作业传感器中。当然，还可以是这样的方案，无人车1上设有用于获取目标场景中的目标参照物信息的第三作业传感器；其中，目标参照物信息与作业目标5具有确定的空间相对位姿。这时，第三作业传感器可以获取目标参照物信息在第三作业传感器的坐标系下的位姿，第三作业传感器与无人车1具有确定的相对位置，因此，根据无人车1在地图坐标系下的位姿、第三作业传感器的坐标系与无人车坐标系的相对位姿、目标参照物信息在第三作业传感器的坐标系下的位姿、以及作业目标5与目标参照物信息的相对位姿，通过空间坐标系变换，得到作业目标5在地图坐标系下的位姿，需要说明的是，在该方案中，图像处理器可以集成到第三作业传感器中。考虑到无人车1构建目标场景的三维地图的具体实现，作为一种优选方案，无人车1设有用于获取目标场景的基础环境信息的激光雷达传感器12和用于测量无人车1的里程的里程计，激光雷达传感器12和里程计分别与无人车1的车载主控制器相连，以使车载主控制器根据基础环境信息和里程对目标场景构建三维地图，并获得无人车1在地图坐标系下的位姿。优选地，车载主控制器根据激光雷达传感器12检测的基础环境信息和里程计测量的无人车1的里程，采用Gmapping算法进行三维地图构建并实时定位无人车1在地图坐标系中的位姿。需要说明的是，Gmapping算法为现有技术中已成熟的算法，其计算步骤及计算原理请参见现有技术，本文不再赘述。本发明的主要改进点在于，将Gmapping算法应用于无人车1对目标场景的三维地图构建以及自身定位。考虑到当存在障碍物遮挡时，激光雷达传感器12将检测不到障碍物遮挡部分的环境信息，也即，激光雷达传感器12的视野有限，为了获得更全面的目标场景中的环境信息，在上述实施例的基础之上，无人机2设有用于获取激光雷达传感器12视野盲区内的补充环境信息的建图传感器，建图传感器与车载主控制器相连，以使车载主控制器根据基础环境信息、无人车1的里程和补充环境信息对目标场景构建三维地图。建图传感器搭载于无人机2上，可以从高空俯瞰目标场景的环境信息，具有视野优势，能够检测到激光雷达传感器12视无法获得的环境信息，因此，建图传感器可以协助无人车1对目标场景进行三维地图构建，适用于目标场景比较复杂或无人车1的激光雷达传感器12视野受限的情况。优选地，建图传感器为深度摄像机。可以理解的是，深度摄像机获取激光雷达传感器12视野盲区内的补充环境信息后，能够生成三维点云数据，而激光雷达传感器12获取的也是点云数据，因此，深度摄像机将其生成的三维点云数据发送至车载主控制器后，车载主控制器能够将深度摄像机生成的三维点云数据和激光雷达传感器12获取的点云数据进行数据融合，然后，车载主控制器根据数据融合后的数据以及无人车1的里程，采用Gmapping算法可进行三维地图构建并实时定位无人车1在地图坐标系中的位姿。需要说明的是，建图传感器可以直接与车载主控制器建立通信连接；也可以是，建图传感器与无人机2的机载主控制器相连，机载主控制器与车载主控制器建立有通信连接，建图传感器通过机载主控制器将其检测到的信号发送至车载主控制器，对此，本发明并不做限定。需要说明的是，本发明中的定位传感器、建图传感器和作业传感器可以为分别搭载在无人机2上的独立的传感器，也可以为同一个传感器，以减轻无人机2的负载。优选地，作业传感器为单独的视觉传感器，定位传感器和建图传感器为同一个视觉传感器，也就是说，无人机2上优选搭载有两个视觉传感器，一个用于获取作业目标5的位姿，另一个既用于检测视觉特征标识11，又兼顾目标场景中的环境感知，用于获取激光雷达传感器12视野盲区内的补充环境信息。如图4所示，无人机2上搭载有视觉摄像机21，该视觉摄像机21主要用于获取作业目标5的位姿。为了进一步提高无人机2的定位精度，优选地，无人机2携带有气压计和惯性测量单元等，以通过对气压计和惯性测量单元等的检测数据进行数据融合，得到更精确的无人机2的位置，具体的数据融合方法请参见现有技术，本文不再赘述。综上所述，本发明提供的空地协同作业系统，通过无人车1对目标场景构建三维地图，并实时定位无人车1自身在地图坐标系下的位姿，同时，利用数据采集器3获取无人车1与无人机2的第一相对位姿，将无人车1作为无人机2在地面的定位参照物，通过无人车1协助无人机2在目标场景中精确定位。同时，又由于数据采集器3可获取作业目标5与无人车1的第二相对位姿，数据处理器4可通过空间坐标系变换，对无人车1在地图坐标系下的位姿、无人机2与无人车1的第一相对位姿、以及作业目标5与无人车1的第二相对位姿进行数据处理，得到无人机2与作业目标5的第三相对位姿，并将第三相对位姿发送至无人机2，从而使无人机2根据第三相对位姿调整位姿至预设作业范围内。由此可以看出，本发明提供的空地协同作业系统，突破了现有技术中无人车1的应用局限，解决了空中机动平台和陆上机动平台“各自为战”、“协同不力”的问题，真正实现了无人机2与无人车1的协同工作。即使是在无人机2的自身视野存在盲区，无法观测到作业目标5时，也能够实现无人机2的精确定位，满足对作业目标5执行作业任务的需求，尤其适用于空中复杂的接触性作业。请参考图7-图12，图7为本发明具体实施例所提供的空地协同作业系统的定位方法的流程图；图8为利用无人车构建目标场景的三维地图并获取无人车自身在三维地图的地图坐标系下的位姿的一种优选方案的流程图；图9为利用无人车构建目标场景的三维地图并获取无人车自身在三维地图的地图坐标系下的位姿的另一种优选方案的流程图；图10为利用数据采集器获取第一相对位姿的一种优选方案的流程图；图11为利用数据采集器获取第二相对位姿的一种优选方案的流程图；图12为利用数据处理器获取无人机与作业目标的第三相对位姿的流程图。除了上述空地协同作业系统，本发明还提供一种空地协同作业系统的定位方法，该空地协同作业系统的定位方法应用于上述任意一个实施例公开的空地协同作业系统，该空地协同作业系统的定位方法包括步骤S1至步骤S3：步骤S1：利用无人车1构建目标场景的三维地图并获取无人车1自身在三维地图的地图坐标系下的位姿。作为一种优选方案，步骤S1包括步骤S11至步骤S13：步骤S11：利用无人车1的里程计测量无人车1的里程信息。步骤S12：利用无人车1的激光雷达传感器12获取目标场景的基础环境信息。步骤S13：利用所述无人车1的车载主控制器根据里程信息和基础环境信息，采用Gmapping算法构建目标场景的三维地图，并获取无人车1在地图坐标系下的位姿。也就是说，本实施例对应的空地协同作业系统中的无人车1设有里程计和激光雷达传感器12。本实施例中车载主控制器采用Gmapping算法对里程计和激光雷达传感器12二者检测的信息进行处理，以构建目标场景的三维地图和实现无人车1在目标场景的实时定位。考虑到激光雷达传感器12视野的受限性，在另一个优选方案中，步骤S1包括步骤S14至步骤S17：步骤S14：利用无人车1的里程计测量无人车1的里程信息。步骤S15：利用无人车1的激光雷达传感器12获取目标场景的基础环境信息。步骤S16：利用无人机2的建图传感器获取激光雷达传感器12视野盲区内的补充环境信息。步骤S17：利用无人车1的车载主控制器根据里程信息、基础环境信息和补充环境信息，采用Gmapping算法构建目标场景的三维地图，并获取无人车1在地图坐标系下的位姿。也就是说，本实施例对应的空地协同作业系统中的无人车1设有里程计和激光雷达传感器12，空地协同作业系统中的无人机2设有建图传感器，在上一个实施例的基础上，通过增设的建图传感器来获取目标场景中更全面的环境信息。换句话说，通过搭载于无人机2的建图传感器来辅助无人车1对目标场景进行建图。步骤S2：利用数据采集器3获取无人车1与无人机2的第一相对位姿，并利用数据采集器3获取作业目标5与无人车1的第二相对位姿。本实施例对获取无人车1与无人机2的第一相对位姿的具体方式不做限定，作为一种优选方案，步骤S2包括步骤S21至步骤S23。步骤S21：利用无人车1和无人机2中的一者上搭载的定位传感器检测无人车1和无人机2中的另一者上设置的视觉特征标识11；其中，视觉特征标识11为AprilTag标识。也就是说，本实施例通过在无人车1和无人机2中的一者上设置视觉特征标识11，并在无人车1和无人机2中的另一者上设置定位传感器，利用定位传感器检测视觉特征标识11，来获取无人机2与无人车1的第一相对位姿。步骤S22：利用定位传感器，采用AprilTag识别算法，对定位传感器获取的含有视觉特征标识11的图像进行处理，得到视觉特征标识11在定位传感器的坐标系下的位姿。也就是说，定位传感器可对其获取的含有视觉特征标识11的图像进行处理。AprilTag识别算法是现有技术中成熟的视觉识别算法，例如，定位传感器为深度摄像机，深度摄像机可以获取图像信息流，对深度摄像机获取的图像进行处理时，先将RGB图像转化为灰度图，然后利用自适应阈值对灰度图进行二值化处理，再根据二值图像相邻像素值是否相同进行图像分割，将图片划分为黑白组块，对于黑白组块连接处的像素梯度进行聚类，得到图像边缘，在每个边界簇中利用最小二乘法对像素进行拟合，获得近似的线段，然后利用一个深度为4的深度优先递归算法检测方形，获得候选方形之后，利用编码系统来决定检测到的方形是否为AprilTag标识的组成部分，然后利用针孔相机模型计算得到AprilTag标识在深度摄像机的坐标系下的位姿。步骤S23：利用数据处理器4根据定位传感器在无人机2的无人机坐标系下的位姿、视觉特征标识11在无人车1的无人车坐标系下的位姿、以及视觉特征标识11在定位传感器的坐标系下的位姿，得到无人车1与无人机2的第一相对位姿；或者，利用数据处理器根据定位传感器在无人车的无人车坐标系下的位姿、视觉特征标识在无人机的无人机坐标系下的位姿、以及视觉特征标识在定位传感器的坐标系下的位姿，得到第一相对位姿。优选地，视觉特征标识11设置在无人车1上，定位传感器设置在无人机2上。可以理解的是，根据AprilTag标识在定位传感器的坐标系下的位姿，以及定位传感器在无人机2的无人机坐标系下的位姿，经过空间坐标系变换，可得到AprilTag标识在无人机坐标系下的位姿，又由于AprilTag标识设置在无人车1上，根据AprilTag标识在无人车坐标系下的位姿以及AprilTag标识在无人机坐标系下的位姿，通过空间坐标系变换，可得到无人车1与无人机2的第一相对位姿。另外，本实施例对获取作业目标5与无人车1的第二相对位姿的具体方式不做具体限定，作为一种优选方案，步骤S2包括步骤S24和步骤S25：步骤S24：利用无人机2的作业传感器获取作业目标5的图像。也就是说，本实施例通过在无人机2上设置作业传感器来获取作业目标5，以在作业目标5进入作业传感器的视野时，获取作业目标5的图像。步骤S25：利用与作业传感器建立有数据连接的图像处理器，根据作业目标5的图像获取作业目标5在作业传感器的坐标系下的第四相对位姿。可以理解的是，本领域技术人员可以利用图像处理器根据作业目标5的图像获取作业目标5在作业传感器的坐标系下的第四相对位姿。步骤S26：利用数据处理器4根据第四相对位姿和第一相对位姿，通过空间坐标系变换，得到第二相对位姿。可以理解的是，作业传感器设于无人机2上，作业传感器的坐标系与无人机坐标系具有确定的相对位姿，因此，根据作业传感器在无人机坐标系下的位姿和作业目标5在作业传感器的坐标系下的位姿，经过坐标系变换，可得到作业目标5在无人机坐标系下的位姿，再根据无人机2与无人车1的第一相对位姿、以及无人车1在地图坐标系下的位姿，经过空间坐标系的变换，即可得到作业目标5在地图坐标系下的位姿。步骤S3：利用数据处理器4根据无人车1在地图坐标系下的位姿、第一相对位姿以及第二相对位姿，得到述无人机2与作业目标5的第三相对位姿，并将第三相对位姿发送至无人机2，以使无人机2根据第三相对位姿调整位姿至预设作业范围内。具体地，步骤S3包括步骤S31至步骤S33：步骤S31：利用数据处理器4根据无人车1在地图坐标系下的位姿和第一相对位姿，得到无人机2在地图坐标系下的位姿。步骤S32：利用数据处理器4根据无人车1在地图坐标系下的位姿和第二相对位姿，得到作业目标5在地图坐标系下的位姿。步骤S33：利用数据处理器4根据无人机2在地图坐标系下的位姿和作业目标5在地图坐标系下的位姿，得到第三相对位姿。可以理解的是，根据无人车1在地图坐标系下的位姿以及无人机2与无人车1的第一相对位姿，经过空间坐标系的变换，可得到无人机2在地图坐标系下的位姿；同理，根据无人车1在地图坐标系下的位姿以及作业目标5与无人车1的第二相对位姿，经过空间坐标系的变换，可得到作业目标5在地图坐标系下的位姿；然后再根据无人机2在地图坐标系下的位姿和作业目标5在地图坐标系下的位姿，可得到无人机2与作业目标5的第三相对位姿，从而方便无人机2根据第三相对位姿调整位姿，直至无人机2位于预设作业范围内即可保证无人机2对作业目标5进行精准作业。还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。本说明书中各个实施例采用递进方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。以上对本发明所提供的空地协同作业系统及其定位方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

权利要求：1.一种空地协同作业系统，其特征在于，包括：无人车1，通过在地面上的移动构建目标场景的三维地图，并实时定位自身在所述三维地图的地图坐标系下的位姿；无人机2，用于对作业目标5进行作业；数据采集器3，用于获取所述无人机2与所述无人车1的第一相对位姿以及所述作业目标5与所述无人车1的第二相对位姿；数据处理器4，与所述无人车1、所述无人机2以及所述数据采集器3均相连，用于根据所述无人车1在所述地图坐标系下的位姿、所述第一相对位姿以及所述第二相对位姿，得到所述无人机2与所述作业目标5的第三相对位姿，并将所述第三相对位姿发送至所述无人机2，以使所述无人机2根据所述第三相对位姿调整位姿至预设作业范围内。2.根据权利要求1所述的空地协同作业系统，其特征在于，所述数据采集器3包括：第一相对位姿获取模块，用于获取所述第一相对位姿；第二相对位姿获取模块，用于获取所述第二相对位姿。3.根据权利要求2所述的空地协同作业系统，其特征在于，所述第一相对位姿获取模块包括视觉特征标识11和定位传感器，所述定位传感器用于检测所述视觉特征标识11以获得所述第一相对位姿，所述定位传感器与数据处理器4相连；所述视觉特征标识11设置在所述无人车1和所述无人机2中的一者上；所述定位传感器设置在所述无人车1和所述无人机2中的另一者上。4.根据权利要求3所述的空地协同作业系统，其特征在于，所述第二相对位姿获取模块包括：设于所述无人机2的作业传感器，用于当所述作业目标5在其视野范围内时获取所述作业目标5的图像；图像处理器，与所述作业传感器相连，用于根据所述作业目标5的图像获取所述作业目标5在所述作业传感器的坐标系下的第四相对位姿，所述图像处理器与所述数据处理器4相连；所述数据处理器4还用于根据所述第一相对位姿和所述第四相对位姿，得到所述第二相对位姿。5.根据权利要求3或4所述的空地协同作业系统，其特征在于，所述无人车1设有用于获取所述目标场景的基础环境信息的激光雷达传感器12和用于测量所述无人车1的里程的里程计，所述激光雷达传感器12和所述里程计分别与所述无人车1的车载主控制器相连，以使所述车载主控制器根据所述基础环境信息和所述里程对所述目标场景构建所述三维地图，并获得所述无人车1在所述地图坐标系下的位姿。6.根据权利要求5所述的空地协同作业系统，其特征在于，所述无人机2设有用于获取所述激光雷达传感器12视野盲区内的补充环境信息的建图传感器，所述建图传感器与所述车载主控制器相连，以使所述车载主控制器根据所述基础环境信息、所述里程和所述补充环境信息对所述目标场景构建所述三维地图。7.根据权利要求6所述的空地协同作业系统，其特征在于，所述定位传感器和所述建图传感器为同一个视觉传感器。8.一种空地协同作业系统的定位方法，其特征在于，应用于权利要求1-7任一项所述的空地协同作业系统，包括：利用无人车1构建目标场景的三维地图并获取所述无人车1自身在所述三维地图的地图坐标系下的位姿；利用数据采集器3获取所述无人车1与无人机2的第一相对位姿，并利用所述数据采集器3获取作业目标5与所述无人车1的第二相对位姿；利用数据处理器4根据所述无人车1在所述地图坐标系下的位姿、所述第一相对位姿以及所述第二相对位姿，得到所述无人机2与所述作业目标5的第三相对位姿，并将所述第三相对位姿发送至所述无人机2，以使所述无人机2根据所述第三相对位姿调整位姿至预设作业范围内。9.根据权利要求8所述的空地协同作业系统的定位方法，其特征在于，所述利用无人车1构建目标场景的三维地图并获取所述无人车1自身在所述三维地图的地图坐标系下的位姿，包括：利用所述无人车1的里程计测量所述无人车1的里程信息；利用所述无人车1的激光雷达传感器12获取所述目标场景的基础环境信息；利用所述无人车1的车载主控制器根据所述里程信息和所述基础环境信息，采用Gmapping算法构建所述目标场景的所述三维地图，并获取所述无人车1在所述地图坐标系下的位姿。10.根据权利要求8所述的空地协同作业系统的定位方法，其特征在于，所述利用无人车1构建目标场景的三维地图并获取所述无人车1自身在所述三维地图的地图坐标系下的位姿，包括：利用所述无人车1的里程计测量所述无人车1的里程信息；利用所述无人车1的激光雷达传感器12获取所述目标场景的基础环境信息；利用所述无人机2的建图传感器获取所述激光雷达传感器12视野盲区内的补充环境信息；利用所述无人车1的车载主控制器根据所述里程信息、所述基础环境信息和所述补充环境信息，采用Gmapping算法构建所述目标场景的所述三维地图，并获取所述无人车1在所述地图坐标系下的位姿。11.根据权利要求8-10任一项所述的空地协同作业系统的定位方法，其特征在于，所述利用数据采集器3获取所述无人车1与无人机2的第一相对位姿，包括：利用所述无人车1和所述无人机2中的一者上搭载的定位传感器检测所述无人车1和所述无人机2中的另一者上设置的视觉特征标识11；其中，所述视觉特征标识11为AprilTag标识；利用所述定位传感器，采用AprilTag识别算法，对所述定位传感器获取的含有所述视觉特征标识11的图像进行处理，得到所述视觉特征标识11在所述定位传感器的坐标系下的位姿；利用所述数据处理器4根据所述定位传感器在所述无人机2的无人机坐标系下的位姿、所述视觉特征标识11在所述无人车1的无人车坐标系下的位姿、以及所述视觉特征标识11在所述定位传感器的坐标系下的位姿，得到所述第一相对位姿；或者，利用所述数据处理器4根据所述定位传感器在所述无人车1的无人车坐标系下的位姿、所述视觉特征标识11在所述无人机2的无人机坐标系下的位姿、以及所述视觉特征标识11在所述定位传感器的坐标系下的位姿，得到所述第一相对位姿。12.根据权利要求8-10任一项所述的空地协同作业系统的定位方法，其特征在于，所述利用所述数据采集器3获取作业目标5与所述无人车1的第二相对位姿，包括：利用所述无人机2上搭载的作业传感器获取所述作业目标5的图像；利用与所述作业传感器建立有数据连接的图像处理器，根据所述作业目标5的图像获取所述作业目标5在所述作业传感器的坐标系下的第四相对位姿；利用所述数据处理器4根据所述第四相对位姿和所述第一相对位姿，通过空间坐标系变换，得到所述第二相对位姿。13.根据权利要求8-10任一项所述的空地协同作业系统的定位方法，其特征在于，所述的利用所述数据处理器4根据所述无人车1在所述地图坐标系下的位姿、所述第一相对位姿和所述第二相对位姿，得到所述无人机2与所述作业目标5的第三相对位姿，包括：利用数据处理器4根据所述无人车1在所述地图坐标系下的位姿和所述第一相对位姿，得到所述无人机2在所述地图坐标系下的位姿；利用所述数据处理器4根据所述无人车1在所述地图坐标系下的位姿和所述第二相对位姿，得到所述作业目标5在所述地图坐标系下的位姿；利用所述数据处理器4根据所述无人机2在所述地图坐标系下的位姿和所述作业目标5在所述地图坐标系下的位姿，得到所述第三相对位姿。

百度查询： 酷黑科技(北京)有限公司 北京理工大学 一种空地协同作业系统及其定位方法