买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：顾力栩

摘要：本发明提供了一种导管末端姿态估计方法、系统及介质，包括：在插管前以三维扫描或者人工测绘的形式获得导管末端形状先验，在插管过程中在XCA影像中裁剪导管末端二维投影图，并分别记录导管末端弯曲段两侧的方向信息；在前融合阶段将导管末端形状先验和当前时刻的二维投影图信息融合，在后融合阶段将当前时刻的电磁传感器方向信息融入深度学习网络中层，并与中层特征融合；将前融合结果输入深度学习网络的编码器，将后融合结果输入深度学习网络解码器，深度学习网络最终输出点序列格式的姿态估计。本发明率先使用深度神经网络对导管末端姿态的估计，具有鲁棒性强、计算效率高、估计精确等优点。

主权项：1.一种导管末端姿态估计方法，其特征在于，包括如下步骤：多源信息获取步骤：在插管前以三维扫描或者人工测绘的形式获得导管末端形状先验，在插管过程中在XCA影像中裁剪导管末端二维投影图，并分别记录导管末端弯曲段两侧的方向信息；两步信息融合步骤：在前融合阶段将导管末端形状先验和当前时刻的二维投影图信息融合，在后融合阶段将当前时刻的电磁传感器方向信息融入深度学习网络中层，并与中层特征融合；姿态点序列估计步骤：将前融合结果输入深度学习网络的编码器，将后融合结果输入深度学习网络解码器，深度学习网络最终输出点序列格式的姿态估计；所述多源信息获取步骤包括：导管末端形状先验获取步骤：在插管前使用三维扫描或者人工测绘的方式获取以点序列形式表述的导管末端形状先验，形状为m×3，m表示点序列长度，所述形状先验描述了导管末端的基本形状和初始姿态，两个电磁传感器分别安装在导管末端弯曲处的两侧用以插管过程中获取测量点方向信息；训练步骤：随机选取包含导管末端的冠状动脉造影影像，进行逐像素地对导管末端检测框的标注，基于原图与对应检测框的中心位置及尺寸，训练用于检测导管末端的卷积神经网络YOLOv3；图像处理步骤：在插管过程中，使用YOLOv3实时地检测导管末端在XCA中的位置，并根据YOLOv3的检测框信息裁剪包含导管末端的二维投影图，所述二维投影图通过降噪和阈值分割处理成二值图像，经过以上处理后二维投影图像的尺寸为1×H×W，其中H是图片高度，W是图片宽度；信息收集步骤：收集两个电磁传感器传回的方向信息，并将其处理为单位方向矢量d1和d2；所述两步信息融合步骤包括：前融合步骤：将导管形状先验扩展维度后尺寸为m×1×3，并在高度和宽度复制使其与匹配的二维投影图空间尺寸一致，复制完成后尺寸为m×H×W，此时导管形状先验再与二维投影图在通道方向进行拼接，完成前融合，前融合后的结果尺寸为m+1×H×W；采样处理步骤：前融合后的结果输入到深度学习网络的编码器中，经过不同尺寸的卷积层三次下采样处理后，尺寸缩小为原来的八分之一；后融合步骤：将单位方向矢量d1和d2与像平面法向量n联立公式计算，得到方向信号量S1和S2： 扩展S1和S2维度并进行复制，并在高度和宽度复制使其与匹配的二维投影图空间三倍下采样后的尺寸一致，复制完成后的各个尺寸为此时方向信号量再与深度学习编码器输出特征在通道方向进行拼接，完成后融合。

全文数据：

权利要求：

百度查询： 顾力栩 导管末端姿态估计方法、系统及介质