买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：深圳留形科技有限公司

摘要：本发明提出的是一种综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法，包括如下步骤：1基于机载激光数据的快速建模方法；2联合车载点云与影像的语义分割框架；3融合多源数据的模型自动增强算法。本发明以机载激光点云，车载激光点云和街景影像为研究对象，以模型重建、模型增强与更新为目标，并实现不同平台点云与影像数据的联合处理，充分挖掘各类数据的融合潜力。最终的研究成果将完善车载‑机载数据的融合与精细建模框架，推动点云数据语义分割技术发展，并服务于无人驾驶等新兴应用领域。

主权项：1.综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法，其特征是包括如下步骤：1基于机载激光数据的快速建模方法；2联合车载点云与影像的语义分割框架；3融合多源数据的模型自动增强算法；所述步骤2联合车载点云与影像的语义分割框架具体包括如下步骤:①点云体素生成方法；②基于卷积神经网络的语义分割框架；所述步骤①点云体素生成方法具体包括：在构造网络之前对原始点云数据进行超体素分割，基于二分图匹配的层次聚类算法进行点云的超体素结构划分，首先根据初始数据中包含的六个聚类中心构建出两两相连的二分图结构，在算法实施过程中，点云中的每一个点作为初始聚类中心；接着计算二分图中所有连接边的相似度，选取相似度高的边作为匹配边；然后采用匈牙利算法对二分图进行优化，并合并依旧相连的聚类中心，重复以上步骤，动态更新二分图，直到满足算法停止条件，六个初始点被逐步合并为三个聚类，每个聚类视作一个超体素，依据公式2评价二分图中相连聚类的相似性； 在公式2中，ei，j表示聚类中心ci和cj之间的连接边，Ф表示边的集合，相似度测量函数V*和D*则分别计算了聚类在法向量和欧式空间内的相似性；所述步骤②基于卷积神经网络的语义分割框架具体包括该框架将输入的车载激光点云进行精细的语义标注，标注类别包括地面、车辆、行人、路灯、交通路牌、植被、建筑，将街景影像数据中丰富的纹理和色彩信息用于点云的语义分割，基于深度学习技术，点云和图像信息将逐点逐像素地进行融合，以提高街景图像和车载激光点云的语义分割精度；点云和图像特征融合方法如下：输入数据为三维点云投影到二维图像时的空间投影矩阵，网络将学习投影矩阵的各个参数，并获得优化后的点云-像素匹配结果，在此基础上，联合点云特征将与对应的像素特征联合，最后利用三维超体素的空间关系产生邻近图结构，并采用图卷积的方式进行高级语义信息的融合与提取，该网络结构最终将输出街景图像逐像素和三维点云逐点的语义标记；在设计误差函数模型时采用损失函数公式3:Loss＝llabel+lcorrespond+lconsistency3其中，llabel计算了模型预测标签与真实标签之间的差异，lcorrespond累计了点云与对应像素标签不一致带来的误差，lconsistency则用于评估局部邻域内图像像素标签和点云类别标签的一致性，采用随机梯度下降的优化算法求解公式3。

全文数据：

权利要求：

百度查询： 深圳留形科技有限公司 综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法