买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南开大学

摘要：本发明属于图像处理技术领域，具体涉及一种基于深度相机和关键点检测的瓜果类蔬菜尺寸非接触测量方法。该方法使用双目深度相机获取蔬菜的彩色图像和深度。关键点检测网络以彩色图像作为输入，能够识别瓜果类蔬菜的种类，并定位柄、顶、左、底、右和中心六个关键点。尺寸计算模块融合关键点的位置关系及深度值，可估算多种瓜果类蔬菜的尺寸。实验结果表明，本发明能够准确识别4种瓜果类蔬菜种类，并高精度测量其直径和长度。本发明为使用视觉方法解决蔬菜非接触测量问题提供了新思路，推动计算机视觉在农业自动化领域的应用。

主权项：1.一种基于深度相机和关键点的瓜果类蔬菜尺寸测量方法，该方法特征如下：1基于RealSense和Detectron2目标检测平台，完成黄瓜、茄子、番茄和甜椒4种横截面接近圆形的瓜果类蔬菜的图片采集、种类识别和尺寸测量；2由RealSense双目深度相机拍摄并对齐目标的彩色图和深度图，图像分辨率为640×480，随后将彩色图和深度图送入不同处理流程；3在彩色图像处理流程中，使用Detectron2平台识别目标类型，并检测柄、顶、左、底、右和中心六个关键点，得到每个关键点的像素坐标；4为提高彩色图像处理流程中视野中央目标的预测准确率，引入缩放检测模块，具体操作为：设定放大参数α，初始放大倍率为M＝1，最大识别分数为MS＝0，采用双线性插值将原始图像放大M倍，并在放大图像的中央切割出尺寸为640×480的新图像块送入识别网络，如果目标识别得分和大于MS，则更新最大得分MS，记录当前放大倍数M为BestM，更新放大倍率为M＝M×α，如果M＞5，则跳出检测循环，否则进一步放大图像进行识别，退出后根据原始图像的尺寸计算图像的中心点坐标，将放大倍率为BestM图像上的目标框和关键点坐标与中心点的距离缩小到BestM分之一，完成检测；5在深度图处理流程中，通过空间滤波和空洞填充两个滤波器填补有孔洞的原始深度图；6根据黄瓜、茄子、番茄和甜椒4种横截面接近圆形的瓜果类蔬菜图像关键点间的像素距离，及中心关键点深度，计算蔬菜直径和长度：假设目标左、右关键点像素距离为Dp，查阅RealSense深度相机说明书可知，分辨率为640×480的图像在传感器上对应的实际空间尺寸为2.07mm×1.55mm，则左、右两点在图像传感器上投影的距离为DS＝1.55Dp480mm，根据圆形横截面的特征可知，中心和边缘关键点存在深度差，且差值与中心横截面半径相等，假设中心关键点的深度为d，RGB摄像头焦距为f，可计算横截面接近圆形蔬菜的直径为D＝dDSf-DS2，假设顶、底关键点像素距离为Lp，则两点在图像传感器上投影的距离为LS＝1.55Lp480mm，目标蔬菜的实际长度为L＝dLSf-DS2。

全文数据：

权利要求：

百度查询： 南开大学 一种基于深度相机和关键点的瓜果类蔬菜尺寸测量方法