买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学技术大学

摘要：本发明公开一种基于迁移学习的智能消防机器人灭火方法、设备及介质，方法包括：步骤1，在虚拟环境中搭建射流灭火场景，模拟射流与火焰；步骤2，在现实环境中用智能消防机器人采集预定数量的现实射流图像，并在虚拟环境中用虚拟相机采集虚拟射流图像；步骤3，计算现实射流图像与虚拟射流图像间的形状相似度，得到匹配的虚拟‑现实射流图像；步骤4，训练生成对抗网络：用匹配的虚拟‑现实射流图像训练生成对抗网络；步骤5，在虚拟环境中构建并训练强化学习智能体，训练中用生成对抗网络，将观测到的虚拟射流图像转换成现实射流图像；步骤6，将虚拟环境中训练好的智能体迁移到现实的智能消防机器人中，控制它与现实环境交互完成自动灭火任务。

主权项：1.一种基于迁移学习的智能消防机器人灭火方法，其特征在于，包括：步骤1，搭建虚拟灭火环境：在虚拟环境中搭建一个射流灭火场景，并对射流灭火场景中的射流与火焰同时进行模拟，并通过虚拟相机获取射流灭火场景的图像；步骤2，采集数据：在现实环境中使用智能消防机器人搭载的视觉系统中的彩色相机采集预定数量的现实射流图像，以及在虚拟环境中使用虚拟相机采集虚拟射流图像；步骤3，匹配射流图像：通过计算步骤2所采集的现实射流图像与虚拟射流图像之间的形状相似度，为每一个现实射流图像寻找一个相似度最高的虚拟射流图像，得到匹配的虚拟-现实射流图像；步骤4，训练生成对抗网络：利用步骤3得到的匹配的虚拟-现实射流图像作为训练数据，以加入射流一致性损失和焦点频率损失方式来训练生成对抗网络；按以下方式利用步骤3得到的匹配的虚拟-现实射流图像，以加入射流一致性损失和焦点频率损失方式来训练生成对抗网络，包括：步骤41，初始化网络：采用一个使用配对数据的框架，以随机权重初始化一个生成对抗网络；步骤42，处理训练数据：使用虚拟射流图像的掩膜及现实射流图像的掩膜，分别从匹配的虚拟-现实射流图像中提取虚拟射流图像的射流区域与现实射流图像的射流区域，分别得到两幅图像的去除复杂背景的射流区域图像；步骤43，训练生成对抗网络：使用步骤42中得到的两幅图像的去除复杂背景的射流区域图像作为训练数据输入生成对抗网络，以将虚拟射流图像转换成现实射流图像为训练目标，训练目标的总损失为： ；其中，为训练过程中增加的条件生成对抗损失；为训练过程中增加的L1距离损失；为训练过程中增加的射流一致性损失；为训练过程中增加的焦点频率损失；使用目标训练网络的总损失训练生成对抗网络，将训练完成的生成对抗网络的生成器用于进行虚拟射流图像到现实射流图像的转换；所述步骤43中，为训练过程中增加的射流一致性损失为： ；其中，是生成对抗网络的生成器；与分别是射流区域图像的中心曲线和转换生成的现实射流图像的中心曲线上的个像素点坐标，是射流区域图像的中心曲线上的像素点数量；为折扣因子；射流一致性损失使生成对抗网络的生成器G依据未转换的虚拟射流图像转换后的现实射流图像在纹理上贴近原始的现实射流图像，同时保持未转换的虚拟射流图像的形状不变，即转换生成的现实射流图像与未转换的虚拟射流图像的形状一致，通过惩罚未转换的虚拟射流图像与转换生成的现实射流图像的形状差异实现；为训练过程中增加的L1距离损失为： ；该L1距离损失使得与的局部特征相似；为训练过程增加的焦点频率损失为： ；其中，与分别是将原始的虚拟射流图像转换至频域的虚拟射流图像以及将转换生成的现实射流图像转换至频域的现实射流图像，该转换至频域的虚拟射流图像与现实射流图像的大小均为M×N；是在转换至频域的虚拟射流图像处的权值，在原点处该权值接近于0；为折扣因子；为训练过程增加的条件生成对抗损失为： ；其中，是生成对抗网络的生成器；是生成对抗网络的辨别器；指的是在训练时以未转换的虚拟射流图像与原始的现实射流图像作为给定输入时的生成对抗网络的分辨器的输出；指的是在训练时以未转换的虚拟射流图像作为与转换生成的现实射流图像作为给定输入时的生成对抗网络的分辨器的输出；该条件生成对抗损失用于指导生成对抗网络的生成器转换生成现实射流图像；步骤5，强化学习：在虚拟环境中构建一个强化学习智能体，并以控制射流灭火为目标对该强化学习智能体进行训练，训练过程中，利用步骤4训练完成的生成对抗网络，将强化学习智能体观测到的虚拟射流图像转换成现实射流图像；步骤6，智能体迁移：将虚拟环境中训练好的强化学习智能体迁移到现实的智能消防机器人中，使该强化学习智能体能控制智能消防机器人与现实环境交互完成自动灭火任务。

全文数据：

权利要求：

百度查询： 中国科学技术大学 基于迁移学习的智能消防机器人灭火方法、设备及介质