买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉理工大学

摘要：本发明公开了考虑截止时间和拥塞缓解的分层式客船人员应急疏散方法，包括：根据船舶内部结构以及船舶内部各通行区域行人移动速度，建立全局导航特征图模型；根据全局导航特征图模型，生成全局参考路径；构建应急疏散决策模型；利用强化学习算法的训练机制，结合特征提取网络框架，完成以客船人员自身为中心的基于强化学习的应急疏散决策模型的训练；在应急疏散决策模型的基础上，形成全局规划与局部引导相结合的分层式应急疏散决策逻辑并根据该逻辑对客船人员进行疏散。本发明具有成本低、效率高、灵活性高的优点。

主权项：1.考虑截止时间和拥塞缓解的分层式客船人员应急疏散方法，其特征在于，包括以下步骤：A、根据船舶内部结构以及船舶内部各通行区域行人移动速度，建立全局导航特征图模型；B、根据全局导航特征图模型，生成全局参考路径；C、构建应急疏散决策模型：通过强化学习算法对真实的船舶室内疏散场景建立二维训练环境，通过设置智能体对船舶室内疏散场景中的客船人员进行建模，将二维训练环境和智能体建模作为应急疏散决策模型的基本构成要件；将智能体的观测图像作为应急疏散决策模型的输入；考虑二维训练环境中动态危险、移动人群以及船体结构对于应急疏散决策的影响；D、利用强化学习算法的训练机制，结合特征提取网络框架，完成以客船人员自身为中心的基于强化学习的应急疏散决策模型的训练；E、在应急疏散决策模型的基础上，形成全局规划与局部引导相结合的分层式应急疏散决策逻辑并根据该逻辑对客船人员进行疏散；所述分层式应急疏散决策逻辑具体为：在全局规划阶段，考虑到船舶内部结构复杂且功能区域繁多，紧急情况发生后，全局规划器结合各通行区域的环境特点以及行人移动速度为客船人员快速规划出疏散截止时间内的安全疏散路径，并为局部规划器提供路径参考；在局部导航阶段，根据采集到的环境信息，应急疏散决策模型结合全局参考路径以及客船人员所处的环境信息，为客船人员提供躲避危险与拥塞的实时疏散引导；步骤A具体包括以下步骤：A1、通过广义Voronoi图构造算法在无障碍空间上提取出一组与船舶内部墙体障碍物具有相同欧氏距离的GVD节点，其中，将所有GVD节点构成的集合定义为每个GVD节点均满足以下公式： 其中，表示静态障碍物对应节点集合，将GVD节点vg与其最近的两个静态障碍物节点snearest之间的距离定义为vg的半径rg；A2、将每一个GVD节点进一步表示为vg＝xg，yg，rg，其中，xg，yg表示该节点的坐标，rg表示其半径，将初步筛选得到的GVD节点集合记为初步筛选集合Vpre；A3、根据各GVD节点的半径大小对集合Vg中的节点进行排序，最大半径对应的节点记作vgmi，将最大半径对应的节点加入初步筛选集合Vpre中，并删除以为半径的区域内的所有节点；A4、对于从用户初始位置节点vs前往出口节点ve的疏散路径pvs→ve，考虑任意时刻用户位置对应节点vi，pvi→ve表示从vi到ve的所有可通行路径集合，将节点vi的邻居节点χi定义为： 其中，表示用户从初始节点vs到达当前节点vi实际经历的延迟，表示路段的最坏情况延迟，dWvj→ve表示从节点vj到达出口节点ve的路径的最坏情况延迟，V是导航节点集合，Vh是危险区域对应节点集合，D是疏散截止时间；A5、在初步筛选集合Vpre中确定特征半径最大的节点vgmj的邻居节点vg′mj，再判断节点vgmj与其二级邻居节点vg″mj之间的连通关系，当vgmj的所有二级邻居节点都满足连通关系时，则将其邻居节点vg′mj从初步筛选集合Vpre中删除，对删除筛选后的Vpre表示为特征节点集合V′；其中，当两节点之间的连线无障碍时，视为两节点满足连通关系；其中，二级邻居节点vg″mj为vgmj邻居节点的邻居节点；A6、检查集合V′中各特征节点之间的连通关系，建立全局导航阶段的特征图模型并表示为G′＝V′，E′，将各特征节点之间的连通路段集合E′＝{e′ij＝v′i，v′j}作为全局导航特征图模型的可通行路径；步骤B具体包括以下步骤：B1、生成各特征节点处的路由查询表，将某一特征节点v′的路由查询表表示为Tab[v′]＝d′v，π′v，δ′v，其表示：对于节点v′，当π′v作为下一跳节点时，从节点v′到出口ve的路径具有最小典型延迟δ′v和作为最坏情况延迟的延迟上界d′v；其中，最小典型延迟δ′v和延迟上界d′v分别根据客船人员的典型疏散移动速度和最坏情况下的移动速度计算得到；B2、根据路由查询表Tab[v′]中最坏情况延迟的最小值以及路段u，v对应最坏情况延迟，计算出从节点u′到出口ve的最坏情况延迟的最小值，并表示为dmin；其中，u为随机特征节点，u′为u的邻居节点；B3、结合dmin、Tab[v′]和路段u′，v′的典型延迟计算出最坏情况延迟d和最小典型延迟δ，并将d，v′，δ作为Tab[u′]的候选三元组；其中，d＝maxdmin，cTu′，v′+dv′；B4、当du′≥d∧δv′≥δ时，将Tab[u′]中候选三元组替换为三元组du′，πu′，δu′；相反，当du′≤d∧δv′＜δ时，则不替换；B5、对B2～B4执行|V′|-1次迭代，在每次迭代中，对于路段u′，v′，将更靠近出口的节点v′对u′的路由查询表进行更新替换，在执行|V′|-1次迭代后得到各全局导航节点处的路由查询表；B6、将客船人员的初始位置对应于全局导航节点v′u，考虑路由表Tab[v′u]中的连通关系，根据下一跳节点的延迟上界生成全局参考路径；步骤C具体包括以下步骤：C1、定义强化学习的基本元素至少包括环境、智能体、环境状态、智能体动作和奖励；强化学习算法的主要过程为：智能体通过与环境的直接交互进而习得采用合适的决策来实现任务目标；C2、为智能体设置局部观测范围的长度Ho与宽度Wo，表示为Ho×Wo，以减小并固定应急疏散决策模型输入状态空间的大小，具体的，在每一时间步t上，定义智能体的局部观测集合分别表示智能体观测范围内的自由空间、静态障碍物、动态危险、移动人群以及全局参考路径的信息；C3、将应急疏散决策模型的输出空间对应强化学习算法中的离散动作空间A＝{a1，a2，...，a9}的九个疏散引导指示,各疏散引导指示分别表示从当前节点向上、下、左、右、左上、左下、右上、右下移动到相邻的导航节点以及当前节点即为导航节点的情况；C4、根据智能体所在的单元格属性进行划分：定义智能体只能在边界线以内的区域移动，二维训练环境中每个区域对应真实场景中的一个房间或者其他功能区域，在此基础上，将二维训练环境按照等距网格进行划分，每个正方形的单元格大小为1m×1m，对应一个二维坐标，将实时监测到的环境信息映射到二维训练环境中，根据环境中静态障碍物、集合站位置、移动行人、动态危险的坐标，将与环境对应的每个单元格被标记为不同属性，并通过扩展危险边界以保证客船人员不直接接触到危险，结合IMOMSC.1Circ.1238分析指南对于拥塞的定义，移动行人所在的单元格根据统计的行人数量进一步划分为≤2人m2的常规区域与≥3人m2的拥塞区域两种情况；在每个时间步t上，智能体获得的奖励值计算规则为：1当智能体位于自由空间时，将获得一个负奖励值r1，以促进智能体以更少的步数完成任务；2当智能体处于危险区域时，将获得一个负奖励值r1+r2；3当智能体与移动人群发生轻微拥塞时，即智能体所在单元格的人群密度c为1＜c≤3人m2，将获得一个负奖励值r1+r3，当智能体所在单元格的人群密度为c≥4人m2时，将获得一个负奖励值r1+r3×2；其中，r1＜r3＜r2；4当智能体位于全局参考路径时，将获得一个正奖励值，然后从全局导航序列中移除当前单元格及其后的单元格；5当智能体位于集合站对应单元格时将获得一个正奖励值；步骤D具体包括以下步骤：D1、将智能体局部观测集合的信息以三通道图像的形式表示观测图像；D2、通过3DCNN模型提取观测图像的图像特征，随后将图像特征连接到LSTM网络以获取时间信息；D3、全连接层输出图像特征中与每个状态-动作对应的Q值，Q值即强化学习中的价值，其用于表示智能体选择这个动作后，一直到最终状态奖励总和的期望值；训练过程一共持续K个探索回合，K∈正整数，在t时刻，智能体获得的环境观测状态为ot，一定长度的历史观测序列堆叠构成状态st，智能体与仿真环境进行交互后获得t时刻的动作at和其对应的即时回报值rt，并且更新观测状态ot+1与状态st+1，从而形成一个四元组的状态转移关系st，at，rt，st+1；将状态转移关系st，at，rt，st+1存入容量为Nr的记忆回放池中，从记忆回放池里随机抽取Nb个状态转移关系用于网络更新，损失函数Lθ表示为： 其中，θ为当前Q值网络参数，Nb表示随机抽取的记忆样本数量，表示每一个记忆样本对应的目标Q值；D4、设计的决策模型将以用户为中心的疏散决策系统看作强化学习智能体，并将实时疏散环境信息映射到二维仿真环境中，智能体通过自行探索并根据环境的反馈自动修正对于环境的认知偏差，从而学习到最优疏散引导策略即训练结束；D5、通过训练好的应急疏散决策模型将多帧观测图像输入到目标Q值网络中，计算出各观测图像中不同状态-动作对应的Q值，根据目标Q值网络输出的最大Q值生成疏散引导决策；其中，目标Q值网络为基于强化学习的神经网络；步骤E具体包括以下步骤：基于导航图模型G′＝V′，E′，根据客船人员的初始节点，分别考虑以下三种情况:1当初始节点为全局导航节点时，查询当前节点的路由查询表，生成由节点序列组成的全局参考路径，并执行步骤D4，由应急疏散决策模型引导客船人员前往子目标节点；将客船人员实际经历的延迟从疏散截止时间中减去，更新剩余逃生时间，重复上述操作循环进行，直到客船人员到达出口节点；其中，子目标节点为目标节点之一，目标节点即为目的地；2当初始节点为非全局导航节点时，首先确定客船人员所在特征空间对应的全局导航节点v′i，并计算出从客船人员所处初始节点到该全局导航节点的最短通行路径psi＝{vs，...，v′i}；然后通过查询该全局导航节点的路由表规划出最优导航路段pij＝{v′i，...，v′j}，并将psi与pij相结合作为首段全局参考路径，由应急疏散决策模型引导客船人员前往子目标节点；将客船人员实际经历的延迟从疏散截止时间中减去，更新剩余逃生时间，重复上述操作循环进行，直到客船人员到达出口节点；3当初始节点在危险区域内时，没有可通行的安全导航路径，客船人员需要等待救援；在步骤B6中，当存在至少两个可选择的下一跳导航节点时，以可选择的下一跳导航节点包含v′1和ve为例，将疏散截止时间D与节点v′1的最坏情况延迟上界a和ve的最坏情况延迟上界b进行比较，c为与二级邻居节点的最坏情况延迟上界，其中，a＞b＞c，分别按照以下三种情况进行讨论：1如果D≥a，则客船人员首先被引导到v′1，后续节点的选取将与客船人员经过路段的实际延迟相结合；如果则客船人员将被依次导航到v′2和ve；如果则客船人员将直接被导航到出口节点ve；2如果a＞D≥b，则客船人员将直接被导航到出口节点ve；3如果D＜b，则无法保证客船人员能够在疏散截止时间之前达到出口。

全文数据：

权利要求：

百度查询： 武汉理工大学 考虑截止时间和拥塞缓解的分层式客船人员应急疏散方法