买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江大学

摘要：本发明公开了一种基于RGB‑D多模态数据的不规则田块沿边界导航路径提取方法，包括构建目标田块的RGB‑D田埂数据集；获取田埂区域的语义分割掩膜；基于密度聚类的边界线提取；基于斜率的特征点自适应提取；基于多模态深度数据的特征点转换；利用Bezier曲线分段拟合特征点并采取节点平滑处理，生成导航路径。相比于单模态数据，该方法使用多模态RGB‑D数据可实现更高精度的田埂区域分割及更精确的导航路径提取。该方法可应用于农业车辆沿不规则田块边界的自动导航作业，适用于种植作业过程中的封边作业场景，对实现小田地区全过程无人作业具有重要意义。该方法可以适应不同的田埂形状、不同的田块种类及不同的农业车辆。

主权项：1.一种基于RGB-D多模态数据的不规则田块沿边界导航路径提取方法，其特征在于，所述方法包括以下步骤：S01.利用搭载RGB-D相机的农业车辆构建目标田块A田埂部分的RGB图像ARGB及对应的深度图像ADEPTH，图像采集过程中农业车辆模拟真实田间边缘作业场景，且所述ARGB及所述ADEPTH中包含完整且清晰的田埂区域及未种植作物的农田区域；S02.将所述ARGB及所述ADEPTH输入到训练完成的RGB-D语义分割模型，输出仅包含所述ARGB及所述ADEPTH中田埂区域的预测值的二值掩膜图像Gmask；S03.对所述二值掩膜图像Gmask进行轮廓线提取及图像边缘线滤除，得到不含图像边缘线的田埂边界线簇Lridge；采用基于密度的聚类方法对所述Lridge进行聚类，并计算每类边界线的质心点xi,yi与所述Gmask的图像中心点xc,yc间距离Di；选取具有最小所述Di值的田埂边界线作为工作边界线Lw-ridge，从而完成边界线提取；S04.对所述Lw-ridge上每n个轮廓点进行分组，记所述每组首尾两点间斜率为对每个斜率点再次进行分组，每m个点为一组并计算方差，记所述每组方差为Vi，此时每个方差点即对应所述Lw-ridge上一个轮廓点区间[imn,i+1mn]；设置阈值Td，对方差点进行阈值筛选，选取所述方差值Vi低于所述阈值Td的方差点对应的所述轮廓点区间的中点作为特征点Pfeat；记相邻两个所述特征点Pfeat间斜率为根据斜率差异判断冗余区间，选取非冗余区间所有特征点和冗余区间内部分特征点作为最终特征点Pc-feat，从而完成特征点提取；S05.采集所述ARGB及所述ADEPTH中数据信息，提取所述Pc-feat的像素坐标及深度值；结合所述RGB-D相机的标定参数及坐标变换公式，得到所述Pc-feat的世界坐标；选取所述Gmask中位于图像中心的三点C、D、E确定田块平面法向量记所述各特征点Pc-feat为点A，记点A后第β个点为点B，记相机中心距田埂边缘的真实距离为δ，则可根据公式计算得到转换后特征点TPc-feat的世界坐标；根据坐标逆变换公式，得到所述TPc-feat的像素坐标，从而完成特征点转换；S06.选取每3个所述TPc-feat为一组进行Bezier曲线拟合，每段曲线首尾相连；将所述每段拟合曲线均分为l小段，选取每段Bezier曲线的节点、节点相邻两个小段的端点再次进行Bezier曲线拟合，将新拟合的曲线替换至原曲线处，从而为农业车辆生成在所述目标田块A内沿边界行驶的导航路径曲线。

全文数据：

权利要求：

百度查询： 浙江大学 基于RGB-D多模态数据的不规则田块沿边界导航路径提取方法