买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连理工大学

摘要：本发明公开了一种双目背光成像实时检测连续结晶过程晶体长宽的方法，属于工业过程控制与检测技术领域。首先通过设计一种双目背光成像系统，包括两个远心相机、两个远心背光照明器以及定制的四自由度光学平台，用于采集连续振荡挡板结晶器中不同区域内流动晶体的高质量立体图像。其次，针对原位拍摄的晶体溶液双目图像及其深度学习分割结果，建立一种晶体兴趣点匹配算法，利用远心极线和像素强度约束寻找每个晶体图像对中关于晶体长度和宽度的兴趣点对应关系。最后，提出了一种最优的三维点重构方法，用于重构所有匹配的晶体长宽兴趣点对，由此定量测量连续结晶器中每个晶体的三维长度和宽度。本发明设备新颖实用，可操作性强，结合立体图像分析算法能够达到实时自动测量晶体三维尺寸的效果。

主权项：1.一种双目背光成像实时检测连续结晶过程晶体长宽的方法，其特征在于包括以下步骤：第一步，建立双目背光成像系统1利用远心相机的正投影成像特性，精确测量微米尺度下的晶体目标；根据所用高清工业相机的像元尺寸和传感器尺寸，选择配套的物方远心镜头；安装好两台相机和镜头后，分别将其安装在四自由度微型位移台上，提供相机镜头系统的高精度X-Y-Z-轴平移和垂直方向旋转，从而使两个相机镜头系统聚焦在共同的成像区域；两个远心相机的基线要与管式连续结晶器的直管水平轴平行，即两个相机水平放置，用于最大限度地缓解成像时由于结晶器玻璃管壁弯曲引起的光学折射效应；2两个远心背光照明器将其和双目远心相机分别放置在成像目标的两侧；将LED光源与远心镜头连接，仅允许均匀的平行光线穿过管式结晶器，然后进入远心相机并成像；两个远心背光照明器都安装在定制的光源支架中，便于移动和旋转，使平行光束分别与两个相机镜头的光轴对齐；3一个长行程的四轴光学平台，用于安装以上双目远心相机、远心背光照明器及其固定部件；该光学平台通过X轴的位移，使得双目相机的测量区域沿着管式连续结晶器的直管方向移动；通过第一个Y轴的位移，将双目相机大致送入其工作距离内；然后通过第二个Y轴的精确位移，对双目相机进行聚焦，使其公共聚焦区域能拍摄到清晰的晶体图像；通过Z轴的位移，用于垂直方向移动双目相机以监测结晶器不同层的直管；此外，在实际测量前需利用同时采集的微米级棋盘格标定图像，结合远心相机的标定与校正算法，建立此双目背光成像系统的立体成像模型用于晶体尺寸三维重构；第二步，晶体图像分割、长宽兴趣点集提取和匹配1基于深度学习的原位晶体图像分割和轮廓提取：采集大量不同连续结晶实验条件、不同的检测区域以及不同测量时刻下的原位结晶图像，采用手动标注的方式，构建连续结晶晶体图像分割数据库；使用此数据库，训练Mask2Former实例分割网络，用于从新原位图像中分割出感兴趣的晶体目标，并提取其相应的晶体轮廓；删除一些没有统计意义的晶体图像；2晶体长宽兴趣点提取：使用最小外接矩形方法去包围上述每个晶体图像的轮廓，同时，在经过立体校正的双目图像上，根据水平极线和矩形包围框的四个角点坐标信息，识别双目图像中的晶体图像对；一个晶体图像的长宽方向可通过其包围矩形的长边和短边与水平轴之间的角度来计算；因此，该晶体图像的二维特征长度可以通过其轮廓上的任意两点平行于晶体的长度特征方向、且具有最大的距离来确定；类似地，可以沿着晶体的宽度特征方向来量化其二维特征宽度；因此，对于一个晶体图像对中的左图像，分别沿着其长度和宽度特征方向均匀划分其轮廓点，可以得到该晶体左图像中长度和宽度的多条二维特征线；这些线与左晶体轮廓的交点可以归为其长度和宽度的兴趣点集和为了计算一个晶体在三维空间中的特征长度和宽度，需找到左兴趣点集和在晶体右图像中的匹配点集和以下提出一种两个匹配约束下的晶体兴趣点匹配算法；①远心极线约束：以中的一个兴趣点为例，计算其极线与该晶体右图像的轮廓点之间的竖直坐标的距离di：di＝|vRi-vepipolar|,i＝1,2,...,n21其中，vepipolar是极线的竖直坐标；vRi是右轮廓点的竖直坐标；n代表右轮廓点的数量；当满足di＝0时，该右轮廓点为可能的匹配点；考虑到可能存在的图像误分割，该右轮廓点与之水平方向延伸的另外四个点同时构成初始匹配集；②像素强度约束：通过左参考图像和右目标图像中的子集之间的强度差异来寻找初始匹配集中真正的匹配点对；采用零均值归一化最小距离平方ZNSSD匹配准则，降低双目图像中亮度不同的影响： 其中，rj和tj分别是参考子集和目标子集中第j个像素的强度值；和分别是参考子集和目标子集中所有像素的平均强度值；因此，可以通过找到初始匹配集中子集之间的χZNSSD最小值来确定正确的匹配点对应关系；同理可获得一个晶体中与长度和宽度相关的所有匹配的兴趣点，即和和作为该晶体长度和宽度三维测量的基础；第三步，晶体尺寸三维测量基于上述获得的晶体长宽兴趣点集，仍以其中一个匹配的兴趣点对为例：该兴趣点对在空间中的三维坐标可以通过其在两个相机中的前向光线相交位置来获得，其中每条光线穿过远心相机的光学中心位于无穷远点和各自的像素坐标；由于图像噪声和相机标定误差，两条光线可能在空间中不相交，因此提出一种基于解析解的方法，计算三维重构坐标的最优位置；两条光线在空间中的位置表示如下： 其中，q′L和q′R是经过远心极线校正后在世界坐标系下的匹配点对；o′L和o′R分别是光线q′LQL和q′RQR的单位方向向量；令PL＝PR，计算此时两条光线之间的最短距离|QLQR|，q′L和q′R的三维重构最优点位于线段|QLQR|上：Qx,y,z＝1-wPL+wPR4其中，w代表尺度因子，此时重构点Qx,y,z是最优的，且有最小的重投影误差；基于上述兴趣点重构方法，重构晶体长和宽兴趣点集中所有的匹配点，并通过欧式距离计算获得代表晶体长和宽的三维特征线尺寸；因此，该晶体的三维特征长度可以通过简单地找到所有长度特征线之间的最长空间距离来确定；为了保证针状或者棒状晶体宽度测量的准确性，采用了基于宽度特征线的直方图的测量方法，从统计角度进行宽度测量；因此，晶体的三维特征宽度由宽度直方图中频数最大的长方形的中间值决定。

全文数据：

权利要求：

百度查询： 大连理工大学 一种双目背光成像实时检测连续结晶过程晶体长宽的方法