买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中山大学·深圳;中山大学

摘要：本发明公开了一种联合优化点线面特征和动态分割的建图方法及装置，所述方法包括：根据彩色图像和深度图像获取点、线、面特征生成一个具有这些特征的初始地图，根据深度图像的深度值将初始地图划分为不同的区域并赋予预设的权重值，生成静态概率地图；接着通过构建重投影误差项和正则项来构建用于联合优化位姿和动态对象分割的目标函数，以计算出位姿状态和图中各区域特征的权重估计值，以此来对静态概率地图中各区域的地图元素进行更新和优化，并构建地图表面。本发明通过优化地图权重和位姿的方式，能够更充分的利用环境信息增强定位与地图构建的鲁棒性，同时通过划分地图区域并赋予权重的方式来降低计算量，提高地图构建的实时性。

主权项：1.一种联合优化点线面特征和动态分割的建图方法，其特征在于，包括：获取彩色图像，以及彩色图像所对应的深度图像；根据所述彩色图像，获取所述彩色图像所对应的点特征以及线特征，根据所述深度图像，获取所述深度图像所对应的平面特征；根据所述彩色图像所对应的点特征和线特征，以及所述深度图像所对应的平面特征，进行位姿和地图初始化，生成具有点线面特征的初始化地图；根据所述深度图像中各个像素的深度值，将初始化图像划分成各个区域，并对每一个区域赋予预设的权重值，生成初始化的静态概率地图；根据所述彩色图像所对应的点特征和线特征，以及所述深度图像所对应的平面特征，构建用于位姿估计的点、线和平面特征的重投影误差项，以及构建用于动态对象分割的残差正则项、区域正则项和空间正则项；根据所述重投影误差项、残差正则项、区域正则项和空间正则项，生成用于联合优化位姿和动态对象分割的目标函数，以通过所述目标函数计算生成位姿状态量和各个区域特征的权重估计值；其中，通过以下公式构建用于位姿估计的点、线和平面特征的重投影误差项： 其中，ep，el和eπ分别为点、线和平面特征的重投影误差项；pobs表示点特征的像素坐标，∏·表示相机模型的投影函数；Pw表示地图点的坐标，Rcw和tcw分别表示当前帧的姿态和位置，Tcw表示由Rcw和tcw构成的位姿，表示将平面系数从世界坐标系转换至相机坐标系的转换矩阵；表示图像中的线特征的法向量；表示线特征的端点，x∈{start，end}；qπc表示平面πc的球坐标参数化形式；πw表示在世界坐标系下的平面系数；和表示平行和垂直平面的投影误差项；qn·表示平面法向量的球坐标参数化形式，nc表示平面法向量在相机坐标系的坐标，nw表示平面法向量在世界坐标系的坐标，R⊥表示旋转90°的旋转矩阵；Eξ，b表示点、线和平面特征的重投影误差，ξ表示位姿状态量的李代数集合，b表示区域特征的权重的集合；p表示点特征，表示点特征集合；bi·表示包含相应特征的区域i的权重；Fr表示变量为r的Cauchy鲁棒核函数；l表示线特征，表示线特征集合；k表示平面特征；∏表示平面特征集合；πk表示相同平面约束；表示平行平面约束；垂直平面约束；表示协方差矩阵的逆矩阵；c表示低残差和高残差的边界；通过以下公式构建残差正则项： 其中，SEb表示残差正则项；是一个控制参数；表示每个区域i中的观测到的地图元素总数；是当前帧的点线面平均残差；rmin表示最小的残差二范数；K表示图像的区域数量；通过以下公式构建区域正则项： 其中，SRb表示区域正则项；G表示一个邻接矩阵，当区域i和j在空间上相邻时，对应矩阵元素Gi，j为1，否则为0；λR表示SRb相较于其他残差项和正则项的权重；通过以下公式构建空间正则项： 其中，SGb表示空间正则项，λP、和λπ均表示在整体优化中对这些几何约束项进行加权的权重，和Πi分别表示区域i观测到的地图点、线和平面特征的集合，ZD·表示特征在当前帧相机坐标系的深度，ZM·表示特征在上一帧相机坐标系的深度，xk表示特征点，和表示线特征的两个端点，πk表示平面，|ZDxk-ZMxk|表示特征点在两帧之间的深度差，和表示线特征两个端点在两帧之间的深度差，|ZDπk-ZMπk|表示平面在两帧之间的深度差，kp、kp和kp均为调节对应深度差的影响程度的控制参数，和分别表示点特征、线特征和面特征的空间一致性对权重优化过程的影响参数；所述用于联合优化位姿和动态对象分割的目标函数为：Sb＝SEb+SRb+SGb 其中，Sb表示用于动态分割的约束项；根据所述位姿状态量和各个区域特征的权重估计值，对所述静态概率地图进行更新和优化，并构建地图表面；其中，通过以下公式，对所述静态概率地图中地图元素的权重进行优化： 其中，ωk表示地图元素更新前的权重，ωk+1表示地图元素更新后的权重；Δwk表示权重更新量；b表示区域特征的权重，表示基于区域特征权重计算得到的权重初始更新量；判断当前帧观测到的地图点数量是否少于参考关键帧的90％，若是则将当前帧设置为新的关键帧；在生成新的关键帧后，通过以下公式，对所述静态概率地图和对应的相机位姿状态进行优化： 其中，pc表示地图点，lc表示地图线，πc表示地图平面，bc表示权重，ξc表示对应的相机位姿状态量。

全文数据：

权利要求：

百度查询： 中山大学·深圳 中山大学 一种联合优化点线面特征和动态分割的建图方法