买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本申请公开了一种多模式人体气管插管虚拟仿真实训系统，涉及智能仿真领域，其通过在气管插管仿真训练模块中监测采集学员在人体气管插管仿真训练过程中的动作视频，并在后端引入基于人工智能和机器视觉的数据处理和图像分析算法来对该动作视频进行分析，以此来识别和理解学员在人体气管插管操作中的关键语义，判断该学员的操作进程以及是否有错误动作，以便给出相应的提示，包括指导被监测学员在仿真训练过程中执行正确操作的操作步骤语音提示、文字提示、图标提示和动画演示。能够通过即时反馈的形式来帮助学员及时纠正错误和提供正确的操作示范，实现更为智能化的多模式人体气管插管虚拟仿真实训，确保学员掌握正确的气管插管操作流程和动作。

主权项：1.一种多模式人体气管插管虚拟仿真实训系统，其特征在于，包括：虚拟设备接入模块，用于接入学员的VR头戴设备；模式选择模块，用于选择人体气管插管的虚拟仿真训练模式，其中，所述人体气管插管的虚拟仿真训练模式包括正常情况下的气管插管模式、紧急情况下的快速插管模式和儿童患者的插管模式；气管插管仿真训练模块，用于执行所述人体气管插管的虚拟仿真训练模式，给所述学员提供人体气管插管仿真实训；实训反馈模块，用于根据学员的气管插管仿真实训过程，生成实训反馈报告；其中，所述气管插管仿真训练模块，包括：学员动作视频采集单元，用于获取被监测学员在人体气管插管仿真训练过程中的动作视频；动作视频关键帧采样单元，用于对所述被监测学员在人体气管插管仿真训练过程中的动作视频进行关键帧采样以得到学员动作关键帧的时间序列；学员动作多尺度语义信息传递融合单元，用于将所述学员动作关键帧的时间序列中的各个学员动作关键帧分别通过基于金字塔结构的学员动作多尺度信息传递融合模块以得到学员动作多尺度语义融合特征图的序列；学员动作全时域语义强化聚合单元，用于将所述学员动作多尺度语义融合特征图的序列通过基于序列间全局语义关联的显著性语义强化聚合模块以得到强化学员动作全时序关键语义表示特征图；学员插管操作提示单元，用于基于所述强化学员动作全时序关键语义表示特征图，生成提示结果，所述提示结果用于表示指导被监测学员在仿真训练过程中执行正确操作的操作步骤语音提示、文字提示、图标提示和动画演示；其中，所述学员动作全时域语义强化聚合单元，包括：学员动作多尺度融合语义表示子单元，用于分别计算所述学员动作多尺度语义融合特征图的序列中的各个学员动作多尺度语义融合特征图的均值和最大值以得到由多个特征图均值组成的学员动作多尺度融合语义全局表示向量和由多个特征图最大值组成的学员动作多尺度融合语义突出表示向量；激活表达子单元，用于对所述学员动作多尺度融合语义全局表示向量进行一维卷积编码后通过激活函数进行处理以得到激活表达学员动作多尺度融合语义全局表示向量；多尺度融合全局语义激活表示子单元，用于将所述激活表达学员动作多尺度融合语义全局表示向量通过点卷积层进行编码后与第一可训练线性变换权重矩阵进行矩阵相乘以得到学员动作多尺度融合全局语义激活表示特征向量；激活表达多尺度融合语义突出子单元，用于对所述学员动作多尺度融合语义突出表示向量进行一维卷积编码后通过激活函数进行处理以得到激活表达学员动作多尺度融合语义突出表示向量；多尺度融合突出语义激活表示子单元，用于将所述激活表达学员动作多尺度融合语义突出表示向量通过点卷积层进行编码后与第二可训练线性变换权重矩阵进行矩阵相乘以得到学员动作多尺度融合突出语义激活表示特征向量；学员动作全局-突出语义关联子单元，用于融合所述学员动作多尺度融合全局语义激活表示特征向量和所述学员动作多尺度融合突出语义激活表示特征向量以得到学员动作全局-突出语义关联激活特征向量后，对所述学员动作全局-突出语义关联激活特征向量进行非线性激活处理以得到学员动作全局-突出语义关联权重特征向量；强化子单元，用于以所述学员动作全局-突出语义关联权重特征向量，对所述学员动作多尺度语义融合特征图的序列进行按位置点乘并加上所述学员动作多尺度语义融合特征图的序列以得到强化学员动作多尺度语义融合特征图的序列；全时序关键语义表示子单元，用于将所述强化学员动作多尺度语义融合特征图的序列中的各个强化学员动作多尺度语义融合特征图进行按位置相加以得到所述强化学员动作全时序关键语义表示特征图；所述学员动作多尺度语义信息传递融合单元，包括：学员动作关键帧浅层特征提取子单元，用于将所述学员动作关键帧通过卷积核为3×3的卷积层以得到学员动作关键帧浅层特征图；学员动作关键帧浅层残差融合增强子单元，用于将所述学员动作关键帧浅层特征图通过学员动作浅层残差信息融合增强模块以得到学员动作关键帧浅层残差融合特征图；学员动作关键帧深层特征提取子单元，用于将所述学员动作关键帧浅层残差融合特征图通过卷积核为3×3的卷积层以得到学员动作关键帧深层特征图；学员动作关键帧深层残差融合增强子单元，用于将所述学员动作关键帧深层特征图通过学员动作深层残差信息融合增强模块以得到学员动作关键帧深层残差融合特征图；尺度调制子单元，用于将所述学员动作关键帧深层残差融合特征图输入基于SPPF层的尺度调制模块以得到学员动作关键帧深层调制特征图；上采样子单元，用于将所述学员动作关键帧深层调制特征图进行上采样以得到上采样学员动作关键帧深层调制特征图；学员动作关键帧多尺度特征融合子单元，用于将所述上采样学员动作关键帧深层调制特征图与所述学员动作关键帧浅层残差融合特征图进行融合以得到学员动作关键帧多尺度特征图；学员动作多尺度残差信息融合增强子单元，用于将所述学员动作关键帧多尺度特征图通过学员动作多尺度残差信息融合增强模块以得到所述学员动作多尺度语义融合特征图。

全文数据：

权利要求：

百度查询： 吉林省继明生物科技有限责任公司 多模式人体气管插管虚拟仿真实训系统