买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：合肥工业大学

摘要：本发明提供一种面向微创术中辅助决策的体内三维信息测量系统，涉及微创手术技术领域。本发明中接收医生任意的感兴趣区域标注，获取多样性测量数据，实现术中主动选择性和高参考性，在一定程度上提高了手术的质量；提出通过精准重建的数字化模型获取手术部位的三维信息，经计算提供手术部位的真实长度、面积和体积，辅助医生在术中更精准决策，有效避免手术意外、术中大出血等风险，保障手术安全性，有效提高手术医疗质量。此外，引入的基于双目内窥镜的在线自监督学习深度估计方法，其所使用的双目深度估计网络具有快速过学习的能力，能够利用自监督信息不断适应新场景，进而保证在复杂多变的环境下计算三维测量信息的准确性。

主权项：1.一种面向微创术中辅助决策的体内三维信息测量系统，其特征在于，包括：建模模块，用于根据指定的双目内窥镜图像帧的深度值，获取术中组织点云模型；接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域标注；测量模块，用于根据所述术中组织点云模型和感兴趣区域标注，获取手术部位的三维信息的测量结果，其中所述三维信息至少包括感兴趣区域内的手术部位的真实长度、面积或体积；所述三维信息为长度时：1线段长度所述接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域上标注的两点；所述测量模块，用于：连接标注的两点并在连接线上均匀取样，得到n个采样点；对于在图像像素坐标系下的平面坐标为整数的采样点，根据所述术中组织点云模型，直接获取该部分采样点在相机坐标系下的空间坐标，否则，执行双线性插值操作，间接获取另一部分采样点在相机坐标系下的空间坐标；将空间曲线近似为采样点之间的线段之和，获取二维的线段投射到三维空间的真实长度 其中，表示两点及其连接线上所有采样点在相机坐标下的空间坐标集合；分别表示线段line上的第a、a-1个点在相机坐标下的空间坐标；或2曲线段长度所述接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域上标注的曲线段；所述测量模块，用于根据所述曲线段上所有像素点在图像像素坐标系下的平面坐标，以及所述术中组织点云模型，获取所述曲线段在相机坐标下的空间坐标集合；根据所述曲线段在相机坐标下的空间坐标集合，获取二维的曲线段投射到三维空间的真实长度 其中，表示所述曲线段上所有像素点在相机坐标下的空间坐标集合，m表示曲线段上的像素点总数；分别表示第a、a-1个像素点在相机坐标下的空间坐标空间坐标；所述三维信息为面积时：所述接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域上标注的闭合曲线；所述测量模块，用于：根据所述闭合曲线，将所述指定的双目内窥镜图像帧转化为带有边界的二值图，填充闭合曲线内的数值，提取填充区域内的像素点，完成提取所述闭合曲线围合区域中包含的n个像素块；并根据所述术中组织点云模型，获取各个像素块中像素点在相机坐标下的空间坐标；获取单个像素块在相机坐标下的真实面积：在图像像素坐标系下，沿x轴方向相邻两点Δxpixel与沿y轴方向相邻两点Δypixel，获取像素块在物理成像平面上的投影面积Spixel′；Spixel′＝Δxpixel*Δypixel根据投影面积Spixel′，获取像素块在相机坐标系下的真实面积 其中，像素块的两条对角线叉乘求得其法向量fpixel表示垂直于物理成像平面的向量；cosθi表示与Spixel′的夹角θi的余弦值；累加各个像素块的真实面积，获取封闭曲线围合区域的真实面积Spixel； 所述三维信息为体积时：所述接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域上标注的待切除区域；所述测量模块，用于：采用Delaunay法对待切除区域的表面的离散点云进行三角形剖分，将三维空间坐标投影至切割平面上，按照构网规则获取平面的不规则三角网，从而形成具有空间立体的三角网模型；在得到切除区域空间三角形后，分别求出单个三角形的三个顶点距离切割面投影点长度的平均值，并作为三棱柱的高，获取对应三棱柱的体积；对所有三棱锥体积求和，获取所述待切除区域的真实体积；所述建模模块采用基于双目内窥镜的在线自监督学习深度估计方法，获取所述指定的双目内窥镜图像帧的深度值；所述在线自监督学习深度估计方法所使用的双目深度估计网络具有快速过学习的能力，能够利用自监督信息不断适应新场景；在实时重建模式下，所述建模模块具体用于对连续影像视频帧进行过拟合，获取指定的双目内窥镜图像帧的深度值，包括：提取单元，用于获取双目内窥镜影像，采用当前双目深度估计网络的编码器网络提取当前帧图像的多尺度特征；融合单元，用于采用当前双目深度估计网络的解码器网络，对多尺度特征进行融合，获取当前帧图像中每个像素点的视差；转化单元，用于根据相机内外参数，将视差转化为深度并作为当前帧图像的结果输出；第一估计单元，用于在不引入外部真值的条件下，利用自监督损失更新当前双目深度估计网络的参数，用于下一帧图像的深度估计。

全文数据：

权利要求：

百度查询： 合肥工业大学 面向微创术中辅助决策的体内三维信息测量系统