买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明涉及海上风机测控技术领域，具体涉及激光点云与图像融合的海上风机登乘舷梯姿态估计方法，包括以下步骤：在海上风机的运维舷梯前端安装激光雷达和工业相机；在离线阶段进行设备标定，建立激光点云数据到图像数据的空间变换矩阵，采集激光点云和图像数据并进行预处理构建海上风机登陆平台点云模型，同时构建海上风机登陆口检测模型并进行训练；基于在线阶段再次采集激光点云和图像数据，应用训练好的海上风机登陆口检测模型检测风机登陆口的目标点云，并使用改进快速全局配准算法计算海上风机登乘舷梯与登陆平台之间的相对姿态。本发明，为登乘舷梯与海上风机登陆口的平稳对接提供了有力的技术支持，从而显著降低了海上作业的风险。

主权项：1.激光点云与图像融合的海上风机登乘舷梯姿态估计方法，其特征在于，包括以下步骤：S1，设备配置和数据采集：在海上风机的运维舷梯前端安装激光雷达和工业相机，所述激光雷达和工业相机在离线阶段和在线阶段均收集数据，所述离线阶段用于标定和模型训练，所述在线阶段用于数据采集和姿态估计；S2：在离线阶段进行设备标定，建立激光点云数据到图像数据的空间变换矩阵，采集激光点云和图像数据并进行预处理构建海上风机登陆平台点云模型，同时构建海上风机登陆口检测模型并进行训练，所述预处理具体包括：S21，筛选模糊和过曝光的低质量数据、对图像数据进行边缘增强和对比度调整，采用高斯模糊和随机遮挡技术扩充数据集，以保证风机登陆口检测模型的精度和鲁棒性；S22，将图像数据分辨率进行调整，使图像数据与点云数据具有同一尺度；S23，对处理得到的图像数据和激光点云数据分别进行标注，包括：标注出风机登陆平台图像检测框的平面位置和标签类别；标注出风机登陆平台激光点云检测框的空间位置和标签类别；预处理后的激光点云和图像数据按比例划分为训练集、验证集和测试集，采用训练集训练基于激光点云及图像数据融合的双支路深度神经网络，从而得到基于双支路深度神经网络的海上风机登陆口检测模型，采用验证集优化模型，采用测试集评估模型的性能；所述双支路深度神经网络包括图像数据处理支路、激光点云数据处理支路、激光点云图像特征融合网络以及目标检测模块；所述图像数据处理支路结合YOLOV8网络结构和SE权重提取方法，针对图像特征提取进行优化，生成图像特征图和提取海上风机登陆口的图像特征图；所述激光点云数据处理支路利用PointPillars网络和压缩激励网络提取激光点云特征；所述激光点云图像特征融合网络采用图像特征权重对激光点云特征进行校准，对海上风机登陆口的图像特征权重和激光点云特征权重进行加权融合，在表示目标特征时激光点云信息和图像信息具有互补性，调整图像特征权重的权重系数、激光点云特征权重的权重系数，再将融合后权重作为激光点云特征图权重，得到融合特征；所述目标检测模块采用SSD检测头对融合特征进行检测，得到海上风机登陆口目标点云；所述YOLOV8网络结构和SE权重提取方法具体包括：S24，采用YOLOV8骨干网络对风机登陆平台图像进行特征提取，依次生成多个尺寸的特征图，在YOLOV8骨干网络中的C2f中增加BiFormer注意力机制，并采用并联和跳跃连接结构，形成C2f-Parallel-Bif模块，同时将YOLOV8骨干网络中的3*3卷积核改为5*5卷积核；S25，用YOLOV8颈部网络，对最小尺寸的特征图进行多尺度特征提取和融合，提取风机登陆平台的中心点、边缘、纹理、颜色、结构特征，依次生成多尺寸的图像特征图，并将C2f替换为C2f-Parallel-Bif模块，将3*3卷积核改为5*5卷积核；S26，采用筛选激光点云数据的图像特征提取网络，提取图像特征图；S27，考虑S25生成的多尺寸的图像特征图的相关性，采用压缩和激励网络中的权重提取网络分别提取权重，对每个尺度特征图依次进行全局池化、ReLU激活函数、全连接层、Sigmoid激活函数处理，得到对应通道的图像特征权重向量以及权重向量的维数；S3：基于在线阶段再次采集激光点云和图像数据，应用训练好的海上风机登陆口检测模型检测风机登陆口的目标点云，并使用改进快速全局配准算法计算海上风机登乘舷梯与登陆平台之间的相对姿态，所述改进快速全局配准算法基于距离权重和颜色相干向量，根据检测得到的海上风机登陆口目标点云P和海上风机登陆口点云模型Q解算得到海上风机登乘舷梯与风机登陆平台的相对姿态角，具体包括：S31，利用快速点特征描述算法FPFH提取P、Q的特征点p、q及相应的FPFH描述子，在工业相机采集的图像中，找到与特征点p、q位置对应的像素点，提取该像素点像素邻域内的颜色相干向量CCV及相应的CCV描述子；S32，分别将CCV描述子、特征点p的FPFH描述子以及特征点q的FPFH描述子进行融合，得到CFPFHp描述子和CFPFHq描述子，对CFPFHp描述子和CFPFHq描述子进行特征匹配，得到关系集K；S33，定义基于距离权重的误差函数，将其作为目标函数，以减小p和q的匹配误差，根据关系集K，求解目标函数最小时p与q之间的变换矩阵T，即： 其中，d为特征点p到点云P的质心的欧氏距离，ɑd为距离权重函数，距离权重函数参数根据海上风机登陆平台的长轴长度计算得到，ρ为Geman-McClure鲁棒函数，T由旋转变换参数riji,j＝1,2,3和平移变换参数tii＝x,y,z组成： S34，将变换矩阵T中的旋转变换参数和平移变换参数代入罗德里格斯公式，求解得到海上风机登乘舷梯与风机登陆平台的相对姿态角和相对位移，所述相对姿态角包括俯仰角、滚转角、偏航角。

全文数据：

权利要求：

百度查询： 内蒙古工业大学 激光点云与图像融合的海上风机登乘舷梯姿态估计方法