买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北工业大学

摘要：本发明公开了一种基于人在回路智能辅助导航的胎心超声标准切面提取方法，首先构建用于标注胎心位置的超声图像数据集；再采用多目标区域推荐网络确定胎心候选区域；接下来基于Faster‑RCNN网络对胎心区域进行定位；然后构建人在回路系统，包括医生反馈单元和机器导航单元；最终通过面向人在回路智能辅助导航的强化学习方法，实现基于人在回路模式的胎心超声标准切面的提取。本发明对系统的标准切面判别模型进行强化学习，不断提升系统的超声标准切面判别能力，从而实现导航性能的逐步增强。

主权项：1.一种基于人在回路智能辅助导航的胎心超声标准切面提取方法，其特征在于，包括以下步骤：步骤1：构建用于标注胎心位置的超声图像数据集；步骤1-1：收集DICOM格式的超声影像数据，进行数据格式转换，将超声影像数据变为TIF格式图像；步骤1-2：对TIF格式图像中的胎心以及胎心周围器官位置进行标记；步骤1-3：将步骤1-2中标注完成的TIF格式图像转换为PASCALVOC标注格式，构成超声图像数据集；步骤2：采用多目标区域推荐网络确定胎心候选区域；步骤2-1：使用Faster-RCNN框架下的RPN环节作为多目标区域推荐网络；目标函数LMRPN如式1： 式中，Lclass为胎心以及胎心周围器官的注意力损失求和平均值，Lloc为胎心以及胎心周围器官的空间距离损失求和平均值；λ为调整因子，用来调整Lclass和Lloc的数量级进而调整损失权重比例；i表示图片的索引，Nclass表示已知是否胎心的图片数量，pi表示第i个图片是否为胎心的01已知标注，表示PRN对第i个图片是否为胎心的预测概率，Nloc表示已知胎心在图片空间位置标定框的坐标值数目，ti表示第i个图片胎心位置标定框的已知坐标值，表示PRN对第i个图片胎心位置标定框的预测坐标值；步骤2-2：采用步骤1构建的超声图像数据集对多目标区域推荐网络进行训练，多目标区域推荐网络的输出为胎心候选区域以及胎心周围器官的候选区域及相应的注意力权重；步骤2-3：对于多目标区域推荐网络输出的胎心周围器官候选区域和胎心候选区域的重合部分，对输出的胎心周围器官候选区域注意力权重和胎心候选区域注意力权重进行比较，将胎心候选区域注意力权重小于周围器官候选区域注意力权重的区域进行排除，将未排除的区域作为解剖结构修正后的最终的胎心候选区域；步骤3：基于Faster-RCNN网络的胎心区域定位；步骤3-1：将多目标区域推荐网络作为Faster-RCNN网络中的区域筛选模块，获取超声影像胎心候选区域；步骤3-2：通过池化层将不同尺寸的胎心候选区域进行统一化，处理成统一的大小格式后作为Faster-RCNN网络的输入；步骤3-3：以全卷积-池化层为单元，构建循环多层网络框架，对输入的超声影像的进行提取特征，再把提取到的特征输入全连接层，进行特征融合；步骤3-4：特征融合后接入Softmax输出层，判断胎心候选区域中是否包含胎心；对包含胎心的胎心候选区域再进行边界框回归，在输出层输出多个预测胎心区域；步骤3-5：针对多个预测的胎心区域，采用非极大值抑制的评价标准，选择出判别分数最高的胎心区域作为最终结果，最终实现超声影像中的胎心定位；步骤4：构建人在回路系统，所述人在回路系统包括医生反馈单元和机器导航单元；所述医生反馈单元用于实时记录医生对超声图像的标准切面符合程度的评价结果，所述机器导航单元用于根据胎心的定位信息给出导航的指示信息；步骤4-1：构建人机交互的医生反馈单元；步骤4-1-1：通过超声影像采集装置的线阵探头得到超声图像的逐帧序列，作为医生反馈单元输入，实时传送至计算机中作为当前状态sn；步骤4-1-2：在医生反馈单元中设置脚踏压力传感器，作为医生反馈单元中的评价信号采集装置，把采集到的信号作为医生反馈单元的输出；步骤4-1-3：医生观察超声影像采集装置的显示屏，通过脚踏压力传感器将医生对当前超声图像的评价反馈到计算机，踩下脚踏压力传感器表示满意，不踩表示不满意；步骤4-1-4：将超声影像采集装置采集的图像和评价信号采集装置采集的脚踏信号通过时钟信号进行信号同步，并将时钟信号同步后脚踏信号作为医生对机器的反馈信号，充当马尔科夫过程的奖励函数Rn；步骤4-2：构建基于标准切面判别模型的机器导航单元；步骤4-2-1：根据超声影像是否满足标准切面对图像数据进行标注，将标注后的图像数据作为训练数据，通过卷积神经网络进行训练，得到标准切面判别模型；步骤4-2-2：对于每帧超声图像，把其通过步骤3所得到的胎心定位结果，实时输入至步骤4-2-1所训练的标准切面判别模型，将胎心定位结果和标准切面判别模型判别结果共同作为导航指示信息，通过显示屏展示；步骤5：面向人在回路智能辅助导航的强化学习方法；步骤5-1：在机器导航单元的强化学习框架中采用深度Q网络，其中深度Q网络的输出值Qsn，an代表相应第n步状态sn下动作an的行动价值函数；将步骤4-2-1所构建的基于卷积神经网络的标准切面判别模型作为智能体，并将医生作为环境；在强化学习过程中，设当前步骤为第n步，将超声探头所扫描的第n步当前影像图片作为状态sn，该状态下系统给出导航指示信息即执行动作an并通过显示器显示；医生根据显示器显示的导航指示信息，通过脚踏压力传感器给出的实时评价，作为环境的奖励信号Rn；强化学习深度Q网络的更新公式如式2：Qnewsn，an←1-α·Qsn，an+α·{Rn+γ·maxa∈AQsn+1，a-Qsn，an}2式中，A为智能体所有可能动作的动作空间，a为动作空间中的动作，Qsn，an为系统对于给定第n步状态sn和动作an时的深度Q网络输出值，Qsn+1，a为系统对于给定第n+1步新状态sn+1和动作a时的深度Q网络输出值，Qnewsn，an为基于状态sn和动作an的更新Q输出值，γ为折旧因子，为一个取值在0到1之间的实数，取值由用户自定，其取值越大模型对长期奖励的偏向性越大；通过更新公式2，求得使得系统的行动价值函数Qsn，an总体回报最大化的策略参数；步骤5-2：通过机器导航单元的显示器，对医生实时反馈胎心位置的导航指示信息，实现对医生扫描方向与手法的引导；步骤5-3：当医生在扫描中通过机器导航单元的指示信息，成功搜寻胎心超声标准切面图像时，利用脚踏压力传感器对图像做出实时评价，进而通过反馈单元将当前标准切面图像和评价信号反馈至计算机中；步骤5-4：为提高系统对胎心超声标准切面图像的判别准确率，通过医生评价的实时反馈信号，对步骤4-2-1中机器导航单元的标准切面判别模型进行强化学习：反馈信号即为脚踏压力传感器的评价信号，反复迭代强化学习策略参数集和标准切面判别模型的卷积神经网络参数集，从而不断提升人在回路系统的导航能力，实现基于人在回路模式的胎心超声标准切面的提取。

全文数据：

权利要求：

百度查询： 西北工业大学 基于人在回路智能辅助导航的胎心超声标准切面提取方法