买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南理工大学

摘要：本发明公开了一种基于悬浮式云台的水下目标三维重建方法。本发明的目的在于提供一种基于视觉、IMU以及结构光的水下场景目标三维重建方法；所述方法利用紧耦合的方式实现图像采集相机与IMU数据实现精准定位云台因悬浮而发生晃动；基于定位结果与结构光成像原理，本发明能够在水下云台处于悬浮状态时获取精准的水下三维点云数据，能够更精确且稠密地建立水下目标的精细化三维模型。

主权项：1.一种基于悬浮式云台的水下目标三维重建方法，其特征在于，包括以下步骤：S1、构建水下目标三维重建系统，包括点云重建相机、图像采集相机、惯性测量单元、线激光器以及水下云台；标定所述图像采集相机以及点云重建相机内参、图像采集相机以及点云重建相机的外部位姿关系、惯性测量单元的内参以及图像采集相机与惯性测量单元的外部相对位姿关系；惯性测量单元的内参包括随机误差与确定性误差；S2、对惯性测量单元数据进行积分，对图像采集相机数据进行特征提取和匹配；以紧耦合的方式融合图像采集相机和惯性测量单元，获取图像采集相机在世界坐标系下的位姿；包括以下步骤：S2.1、输入惯性测量单元数据进行积分：惯性测量单元数据包括线加速度数据和角速度数据；将惯性测量单元数据积分，在k时刻到k+1时刻下惯性测量单元数据积分得到的速度，位移和旋转分别表示为： 其中和分别为时刻和时刻的速度；和分别为时刻和时刻的旋转矩阵；，分别为时刻和时刻的位移；为采样时间间隔；和分别为惯性测量单元通过积分所得加速度和角速度；为克罗内克积；S2.2、输入图像采集相机数据，对图像数据进行特征提取，再与前一帧的特征进行匹配，得到特征点在相邻图像上的图像坐标；通过惯性测量单元数据积分及时间对齐，得到相机的估计位置，设置状态量初始值；构建误差函数，利用最小二乘法得到状态量的最优估计F： 其中，项为图像采集相机中视觉误差，，分别为从第帧图像坐标系到世界坐标系下的旋转矩阵和平移向量；为第j个特征点坐标；为第帧图像对应的相机坐标系；为投影函数；为第帧图像对应的相机坐标系对的观测；m为图像采集相机总帧数；n为在第帧图像上的总特征数；项为IMU约束，t为对应第帧图像时间戳；T为对应第帧图像时间戳；为旋转矩阵，为采样时间间隔；，分别为第帧图像在世界坐标系下的速度，加速度，旋转矩阵以及平移向量；分别为在第t个时间戳下惯性测量单元积分所得平移向量、旋转矩阵以及速度；基于最小二乘问题求解最优估计F，损失函数表达为： 其中，为增量；为增量的转置；为泰勒展开的高阶项；J和H分别为损失函数雅可比矩阵和海塞矩阵；忽略泰勒展开的高阶项，损失函数变为二次函数，根据一阶导数为0的稳定点的H矩阵性质求解局部极值和鞍点；得到以紧耦合方式融合图像采集相机和惯性测量单元实现每一帧图像采集相机的旋转矩阵与平移向量；S3、对稀疏的图像采集相机位姿利用B样条函数进行拟合，获得在世界坐标系下的连续化图像采集相机轨迹，根据图像采集相机与点云重建相机的外部位姿关系计算获得悬浮状态对点云重建相机的扰动，从而获取对应时间戳点云重建相机在世界坐标系下的位姿；包括以下步骤：S3.1、利用点云重建相机相对于图像采集相机的外部位姿关系，将图像采集相机的位姿转换为点云重建相机位姿，具体为： 其中与为通过位姿关系变换所得图像采集相机第i帧图像对应时刻的点云重建相机位姿；S3.2、将点云重建相机的轨迹作为三维轨迹控制点，基于k阶均匀B样条函数对三维平移轨迹进行表示： 其中i为第i帧图像采集相机拍摄图像，k为均匀B样条函数阶数，为B样条函数，为通过B样条函数拟合的连续化点云重建相机轨迹函数；S3.3、将点云重建相机的旋转矩阵为旋转控制点，在李群上k阶累积形式B样条函数定义为： 其中i为第i帧图像采集相机图像，由均匀B样条累积混合矩阵推导而得的第e阶对应因子，仅取决于B样条的阶数；为点云重建相机拍摄第i+e-1帧图像时刻的旋转矩阵的逆，为点云重建相机拍摄第i+e帧图像时刻的旋转矩阵；S34、基于连续化的轨迹与旋转矩阵，获取点云重建相机每一帧对应时间戳的平移向量与旋转矩阵，d为点云重建相机的d帧，为点云重建相机第d帧图像对应时刻；S4、线激光器发射的线激光照射到水下目标上，点云重建相机对水下目标进行拍摄，利用结构光成像原理获得点云重建相机拍摄图像的线激光位置的三维点云，基于所得点云重建相机的位姿，将每帧点云重建相机拍摄图像的线激光位置的三维点云插入到世界坐标系中，从而实现水下目标的三维重建。

全文数据：

权利要求：

百度查询： 华南理工大学 一种基于悬浮式云台的水下目标三维重建方法