买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：广东省科学院智能制造研究所

摘要：本发明提供一种基于多维图像的焊缝质量自评估方法及系统，属于自动化焊接技术领域，应用于电子设备，该方法包括：电子设备获取M张焊缝图像，M张焊缝图像是从不同维度角度针对焊缝所拍摄的图像，M为大于或等于3的整数；电子设备通过神经网络模型处理M张焊缝图像，得到M张焊缝图像各自的图像特征信息集合，共M个图像特征信息集合，M张焊缝图像中任一两张焊缝图像的图像特征信息集合的尺度不同；电子设备通过神经网络模型处理M个图像特征信息集合，得到对焊缝的质量自评估结果。采用本发明的方法，可以实现从不同的维度对焊缝质量进行评估，得到对焊缝的质量自评估结果能够更准确，鲁棒性更好。

主权项：1.一种基于多维图像的焊缝质量自评估方法，其特征在于，应用于电子设备，所述方法包括：所述电子设备获取M张焊缝图像，所述M张焊缝图像是从不同角度针对焊缝所拍摄的图像，M为大于或等于3的整数；所述电子设备通过神经网络模型处理所述M张焊缝图像，得到所述M张焊缝图像各自的图像特征信息集合，共M个图像特征信息集合，所述M张焊缝图像中任意两张焊缝图像的图像特征信息集合的尺度不同；所述电子设备通过所述神经网络模型处理所述M个图像特征信息集合，得到对所述焊缝的质量自评估结果；其中，电子设备通过神经网络模型处理所述M张焊缝图像，得到所述M张焊缝图像各自的图像特征信息集合，包括：所述电子设备确定所述M张焊缝图像各自仅包含所述焊缝所在的区域的子焊缝图像，共M张子焊缝图像；所述电子设备通过所述神经网络模型的卷积层对所述M张子焊缝图像分别进行不同尺度的卷积，得到所述M个图像特征信息集合；针对所述M张焊缝图像中的第i张焊缝图像，在i遍历1至M的过程中，所述第i张焊缝图像的拍摄方向与所述焊缝所在面的角度先从小于90°的正角度增大到90°，再从90°减少到小于90°的负角度，其中，M=5，5张焊缝图像与拍摄方向与焊缝所在面角度分别为：45°、70°、90°、-70°、-45°，在此基础上，所述电子设备通过所述神经网络模型的卷积层对所述M张子焊缝图像分别进行不同尺度的卷积，得到所述M个图像特征信息集合，包括：在i=1的情况下，所述M张焊缝图像中的第1张子焊缝图像的拍摄方向与所述焊缝所在面的角度小于90°，对于所述M张子焊缝图像中第1张子焊缝图像，所述电子设备通过所述神经网络模型的卷积层使用卷积核#1对所述第1张子焊缝图像进行卷积，得到所述第1张子焊缝图像的图像特征信息集合；在以步长为1递增为i=[M2]-1的情况下，[]表示向上取整或向下取整，所述M张焊缝图像中的第[M2]-1张子焊缝图像的拍摄方向与所述焊缝所在面的角度小于90°，且大于所述第1张焊缝图像的拍摄方向与所述焊缝所在面的角度，对于所述M张子焊缝图像中第[M2]-1张子焊缝图像，所述电子设备通过所述神经网络模型的卷积层使用卷积核#[M2]-1对所述第[M2]-1张子焊缝图像进行卷积，得到所述第[M2]-1张子焊缝图像的图像特征信息集合；所述卷积核#[M2]-1的尺寸大于所述卷积核#1的尺寸；在以步长为1递增为i=[M2]的情况下，所述M张焊缝图像中的第[M2]张子焊缝图像的拍摄方向与所述焊缝所在面的角度等于90°，对于所述M张子焊缝图像中第[M2]张子焊缝图像，所述电子设备通过所述神经网络模型的卷积层使用卷积核#[M2]对所述第[M2]张子焊缝图像进行卷积，得到所述第[M2]张子焊缝图像的图像特征信息集合，所述卷积核#[M2]的尺寸大于所述卷积核#[M2]-1的尺寸；在以步长为1递增为i=[M2]+1的情况下，所述M张焊缝图像中的第[M2]+1张子焊缝图像的拍摄方向与所述焊缝所在面的角度小于90°，对于所述M张子焊缝图像中第[M2]+1张子焊缝图像，所述电子设备通过所述神经网络模型的卷积层使用卷积核#[M2]+1对所述第[M2]+1张子焊缝图像进行卷积，得到所述第[M2]+1张子焊缝图像的图像特征信息集合，所述卷积核#[M2]+1的尺寸小于所述卷积核#[M2]的尺寸；以此类推，在以步长为1递增为i=M的情况下，所述M张焊缝图像中的第M张子焊缝图像的拍摄方向与所述焊缝所在面的角度小于90°，且小于所述第[M2]+1张焊缝图像的拍摄方向与所述焊缝所在面的角度，对于所述M张子焊缝图像中第M张子焊缝图像，所述电子设备通过所述神经网络模型的卷积层使用卷积核#M对所述第M张子焊缝图像进行卷积，得到所述第M张子焊缝图像的图像特征信息集合，所述卷积核#M的尺寸小于所述卷积核#[M2]+1的尺寸；至此，共得到所述M个图像特征信息集合；从所述卷积核#1依次到卷积核#[M2]-1、卷积核#[M2]、卷积核#[M2]+1，再依次到卷积核#M，卷积核的尺寸从初始的所述卷积核#1的尺寸按照先增大行尺寸再增大列尺寸的方式增大到所述卷积核#[M2]的尺寸，而后再从所述卷积核#[M2]的尺寸按照先减小列尺寸再减小行尺寸减小到所述卷积核#M的尺寸；或者，卷积核的尺寸从初始的所述卷积核#1的尺寸按照先增大列尺寸再增大行尺寸的方式增大到所述卷积核#[M2]的尺寸，而后再从所述卷积核#[M2]的尺寸按照先减小行尺寸再减小列尺寸减小到所述卷积核#M的尺寸；电子设备确定所述M张焊缝图像各自仅包含所述焊缝所在的区域的子焊缝图像，共M张子焊缝图像，包括：所述电子设备确定所述M张焊缝图像各自所包含的所述焊缝在图像中的边缘区域，即得到所述M张焊缝图像各自的边缘区域；所述电子设备根据所述M张焊缝图像各自的边缘区域，确定所述M张焊缝图像各自仅包含所述焊缝所在的区域的子焊缝图像，共所述M张子焊缝图像；其中，所述电子设备通过二值化的方式确定所述M张焊缝图像各自所包含的焊缝在图像中的边缘区域，得到所述M张焊缝图像各自的边缘区域；所述电子设备根据所述M张焊缝图像各自的边缘区域，确定所述M张焊缝图像各自仅包含焊缝所在的区域的子焊缝图像，共所述M张子焊缝图像，其中，所述边缘区域不是工整的形状，所述电子设备采用确定所述边缘区域的外接矩形的方式，从所述焊缝图像中抽取出子焊缝图像，其中，每个所述外接矩形在所述焊缝图像中所包含的图像为所述子焊缝图像；电子设备通过所述神经网络模型处理所述M个图像特征信息集合，得到对所述焊缝的质量自评估结果，包括：所述电子设备以抽取的方式将所述M个图像特征信息集合融合，得到融合后的图像特征信息集合；所述电子设备将所述融合后的图像特征信息集合输入所述神经网络模型的逻辑推理层处理，得到对所述焊缝的质量自评估结果，所述逻辑推理层依次包括激活层、池化层和全连接层；所述电子设备以抽取的方式将所述M个图像特征信息集合融合，得到融合后的图像特征信息集合，包括：对于所述M个图像特征信息集合中的第i个图像特征信息集合，所述电子设备根据所述M张焊缝图像中第i张子焊缝图像在卷积时使用的卷积核#i的尺寸，从所述第i个图像特征信息集合中抽取部分的图像特征信息子集，在i遍历1至M的情况下，共得到M份图像特征信息子集，所述图像特征信息子集中图像特征信息的数目与所述卷积核#i的尺寸大小负相关；所述电子设备将所述M份图像特征信息子集融合为一份，得到所述融合后的图像特征信息集合。

全文数据：

权利要求：

百度查询： 广东省科学院智能制造研究所 一种基于多维图像的焊缝质量自评估方法及系统