南京四维向量科技有限公司王河生获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉南京四维向量科技有限公司申请的专利一种基于视觉的点云图像融合方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119445005B 。
龙图腾网通过国家知识产权局官网在2025-07-18发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510045771.0,技术领域涉及:G06T17/00;该发明授权一种基于视觉的点云图像融合方法是由王河生;王雷;姬会东;朱延东;韦灿乐;沈建兰设计研发完成,并于2025-01-13向国家知识产权局提交的专利申请。
本一种基于视觉的点云图像融合方法在说明书摘要公布了:本发明涉及图像数据处理技术领域,本发明公开了一种基于视觉的点云图像融合方法;包括从点云数据和图像数据中提取出几何特征和视觉特征,将点云特征点和图像特征点进行特征匹配,将几何特征和视觉特征导入模型架构中的融合点,构建出初始三维模型,对初始三维模型进行优化处理后,生成高质量的三维模型;相对于现有技术,本发明通过在点云特征点和图像特征点的匹配操作后进行匹配特征点的筛选,不仅提高了点云数据和图像数据的融合精度,还降低了两者之间出现误匹配现象的概率,并通过将几何特征和视觉特征融合,可以对多种不同类型场景中的目标物体的形状、表面、颜色和纹理等细节信息进行全面体现,从而构建出高质量的三维模型。
本发明授权一种基于视觉的点云图像融合方法在权利要求书中公布了:1.一种基于视觉的点云图像融合方法,应用于融合服务器,其特征在于,包括:S1:获取目标物体的点云数据,在对点云数据进行预处理后,从预处理后的点云数据中提取出几何特征,几何特征包括形状特征、表面特征和边缘特征;S2:获取目标物体的图像数据,在对图像数据进行预处理后,从预处理后的图像数据中提取出视觉特征,视觉特征包括颜色特征、纹理特征和边界特征;S3:识别出点云数据的点云特征点和图像数据的图像特征点,基于匹配准则,将点云特征点和图像特征点进行特征匹配,并筛选出配准特征点;S4:基于点云数据构建出模型架构,并将几何特征和视觉特征导入模型架构中的融合点,构建出初始三维模型;S5:对初始三维模型进行优化处理后,生成高质量的三维模型; 颜色特征、纹理特征和边界特征的提取方法为:将预处理后的图像数据从RGB颜色空间转化为HSV颜色空间,使用色彩自动分割技术将图像数据划分为相邻的A个子区域,将HSV颜色空间的其中一个颜色分量作为子区域的索引,将图像数据转换为二进制的颜色索引集,生成颜色特征;从A个子区域中随机选择一个像素点作为目标点,并按照顺时针方向,将目标点和与目标点环形相邻的子区域中的像素点的像素值比较;当目标点的像素值大于等于环形相邻的子区域中的像素点的像素值时,将环形相邻的子区域中的像素点赋值为1;当目标点的像素值小于环形相邻的子区域中的像素点的像素值时,将环形相邻的子区域中的像素点赋值为0,生成二进制数,依次计算出A个子区域中0和1出现的频率,生成A个直方图,并对A个直方图进行连接,生成纹理特征;通过Canny算法对预处理后的图像数据进行边缘检测,得到边缘图像,并通过计算机视觉技术识别出边缘图像的边界走向和边界弧度,将边界走向和边界弧度组合后,获得边界特征; 匹配准则为:点云特征点和图像特征点的欧氏距离越小,点云特征点和图像特征点的匹配程度越高; 点云特征点和图像特征点的特征匹配方法为:预先标定激光雷达和高分辨率相机之间的旋转矩阵和平移向量,并以旋转矩阵和平移向量为转换标准,将点云特征点从雷达坐标系转换到相机坐标系,生成相机坐标系下的特征点坐标;相机坐标系下的特征点的表达式为: ; 式中,为相机坐标系下的特征点坐标,为旋转矩阵,为雷达坐标系下的特征点坐标,为平移向量;预先标定相机内参矩阵,并通过相机内参矩阵将相机坐标系下的特征点坐标转换为图像像素坐标;图像像素坐标的表达式为: ; 式中,为图像像素坐标,为相机内参矩阵;通过欧氏距离公式,逐一计算出点云特征点和图像特征点在多维空间内的欧氏距离,将欧氏距离的最小值对应的点云特征点和图像特征点记为匹配特征点,并对匹配特征点进行匹配; 配准特征点的筛选方法为:预先设置出误差阈值和RANSAC算法的迭代次数,并初始化一个空白的集合,记为内点集合;依次将所有的匹配特征点作为初始样本,通过初始样本估计出变换矩阵,并计算出变换矩阵中点到变换平面的距离,记为投影误差;将投影误差小于误差阈值的初始样本对应的匹配特征点记为内点,并将内点导入内点集合中,统计出内点集合中内点的数量,获得初始值;依次将余下的匹配特征点记为验证样本,计算出验证样本的投影误差,从余下的匹配特征点中识别出内点,并将识别出的内点导入内点集合中;实时统计出内点集合中的内点数量,获得实时值,当实时值大于初始值时,更新变换矩阵和内点集合;重复上述步骤,直到达到预设的迭代次数或实时值不再增大时停止,选择实时值的最大值对应的变换矩阵作为最优变换矩阵,并将处于最优变换矩阵的内点集合的内点记为配准特征点; 初始三维模型的构建方法为:以点云数据为基础,通过三维重建技术构建出与点云数据相对应的模型架构,在模型架构中逐一标记出点云数据对应的原始点位,并按照标记的先后顺序,对原始点位依次升序编号,生成融合点;按照编号由小到大的方式,通过数据融合算法依次将配准特征点对应的形状特征、表面特征、边缘特征、颜色特征、纹理特征和边界特征进行特征融合,获得融合特征;将融合特征逐一赋值给对应的融合点,并对赋值后的融合点进行点云着色后,构建出初始三维模型; 高质量的三维模型的生成方法为:通过计算机视觉技术识别出初始三维模型的边界,并沿边界所在位置画线后,生成模型边界线;将位于模型边界线上的融合点记为关键点,并将关键点上的几何特征和视觉特征记为关键特征;通过特征增强算法对关键特征进行增强处理,生成细节特征,并将细节特征所在的网格记为细节区域;通过模型简化算法对初始三维模型进行区域简化,并通过细节恢复技术对细节区域和细节特征进行恢复后,生成高质量的三维模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京四维向量科技有限公司,其通讯地址为:210000 江苏省南京市雨花台区软件大道118号新华汇A3栋1层西;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。