买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京航空航天大学

摘要：本发明提供了一种用于术中放疗的宽基线立体视觉三维成像方法及装置，包括：通过相机拍摄的棋盘格标定实现双目相机标定和图像的极线校正；根据棋盘格角点在左相机坐标系下的三维坐标和在参考点坐标系下的三维坐标建立线性方程组，通过奇异值分解算法计算得到两个三维坐标系之间的旋转矩阵和平移向量，以此实现两个坐标系下坐标的转换；使用术中放疗场景的医学光学图像和深度图像数据集训练端到端的视差估计深度学习网络，使其能够针对手术过程中双目相机拍摄的器官光学图像预测视差；宽基线双目相机拍摄的术中器官图像存在生物组织相互遮挡的情况，针对此现象使用SIFT特征提取局部特征，并根据特征向量距离评估左右图对应点的匹配度，据此筛除掉计算误差过大的视差值；计算器官三维坐标并进行坐标系转换，得到器官在参考点坐标系下的三维坐标；对器官的病灶掩膜图进行极线校正，并标记出对应的三维点。

主权项：1.一种用于术中放疗的宽基线立体视觉三维成像方法及装置，其特征在于，包括以下步骤：步骤1：使用相对位置固定的双目相机拍摄一批棋盘格图像对，用于相机的单目标定和双目标定，获得标定数据用于图像的极线校正；步骤2：使用双目相机拍摄参考棋盘格图像，要求棋盘格图像角点在参考点坐标系下的三维坐标已知。使用双目标定数据对参考棋盘格图像进行矫正，计算校正后左右图对应棋盘格角点的视差。校正后的图像可视为由双目平行相机拍摄而得，根据双目平行相机的成像原理和相似三角形定理，可以根据公式1得到角点在左相机坐标系下的三维坐标。公式1中xworld,yworld,zworld为左图像素点在左相机坐标系下的三维坐标，xpixel,ypixel为左图像素点的像素坐标，为棋盘格标定得到的左相机内参矩阵，b为棋盘格标定后得到的双目相机的基线长度。 步骤3：根据角点在左相机坐标系和术中放疗系统的参考点坐标系下的三维坐标联立线性方程组，使用奇异值分解方法计算得到同一个三维点在两个参考坐标系下的三维坐标之间相互转换所需的旋转矩阵和平移向量；步骤4：使用步骤2的棋盘格标定结果数据对器官图像对进行极线校正，输入训练好的深度学习网络计算器官左图对应像素点的视差；步骤5：根据平行相机成像原理可得到器官左图在右图的对应像素点，计算对应像素点的尺度不变特征ScaleInvariantFeatureTransform，简称SIFT并进行特征向量距离计算，向量距离超过阈值的像素点所对应的视差值视为计算错误，对应像素点不参与后续三维坐标计算。步骤5：通过视差值和标定数据计算得到器官左图对应像素点在左相机坐标系下的三维坐标，并将坐标转换到术中放疗仪器所设定的参考点坐标系下；步骤6：对器官图对应的病灶掩膜图像进行极线校正，计算病灶掩模图像对应的三维坐标，标记对应的三维点，以便术中放疗仪器针对病灶区域进行治疗。步骤7：对同一器官拍摄得到多对图像，得到多个器官的点云文件，将点云文件进行点云融合，最终得到高质量的带有病灶标记的器官点云。

全文数据：

权利要求：

百度查询： 北京航空航天大学 一种用于术中放疗的宽基线立体视觉三维成像方法及装置