买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：冶金自动化研究设计院有限公司

摘要：一种基于深度学习的钢中非金属夹杂物的智能评级方法，属于计算机图像处理技术领域。通过利用深度学习算法对钢中非金属夹杂物进行自动分割并同时对视场下的夹杂物进行自动评级计算，实现自动、快速、准确的钢铁材料质量控制。采用了一种创新的“背景”互补分割算法，通过SAM网络实现对夹杂物的自动分割，并利用ResNet50分类网络对分割出的夹杂物进行分类和评级。优点在于，不仅可以提高评级的精度和效率，降低工作强度，还可以减少人为因素的干扰，提高评级结果的客观性和可靠性。

主权项：1.一种基于深度学习的钢中非金属夹杂物的智能评级方法，其特征在于，步骤如下:步骤1准备材料试样，并对制备试样进行显微图像采集，获取金相显微镜下的试样图像集X，图片视野场大小为0.7mm*0.7mm，根据比例尺换算之后，裁剪图片至相应大小，之后对图像进行包括滤波降噪、图像增强、划痕修复、粘连晶界消除预处理，得到处理后质量试样图片集X；步骤2使用EasyData标注平台进行夹杂物语义分割标注，对图像集X标定钢中非金属夹杂物L1，组成钢中非金属夹杂物数据集Z1＝X，L1；为确保模型能够准确区分夹杂物与背景，标注钢中非金属夹杂物的背景L2将L1中的前景和背景进行交换构成L2，组成钢中非金属夹杂物背景数据集Z2＝X，L2；步骤3利用Z1中的标注图与图像集中的原图进行混合，提取出原图中的夹杂物区域，构造面向单类夹杂物的图集Z3，并对Z3中的每张图像进行类别标注，给每张图像分配一个对应的类别标签c，组成图像分类数据集Z3＝X,C；按照形态与分布，夹杂物被分为4个不同的类别：A类，B类，C类，D类；步骤4利用Pytorch深度学习框架，搭建语义分割网络H和图像分类网络R；具体步骤如下：1语义分割网络H为基于vit模型的通用分割模型SAMSegmentAnythingModel，采用Transformer编码器-解码器结构，一个功能强大的图像编码器计算图像嵌入，一个提示编码器嵌入提示，然后将这两个信息源结合到一个轻量级掩码解码器中，预测分割掩码，恢复特征信息，输出夹杂物和背景区域预测；2图像分类网络R是ResNet50图像分类网络，采用多个残差块堆叠而成的结构，引入恒等映射和短路连接，通过卷积层初步提取图像特征，然后经过一系列残差块进一步加深特征提取，最后通过全局平均池化层将特征图转换为定长向量，并通过全连接层输出图像属于各个类别的预测概率；步骤5使用钢中非金属夹杂物数据集Z1＝X，L1，对目标分割网络H进行训练，获得训练好的钢中非金属夹杂物语义分割模型H1；使用钢中非金属夹杂物背景数据集Z2＝X，L2，对目标分割网络H进行训练，获得训练好的钢中非金属夹杂物背景语义分割模型H2；具体步骤如下：1冻结图像编码器，使用提示编码器对边界框的位置信息进行编码，从SAM中预先训练的边界框编码器中重复使用，因此也会冻结该组件，后续微调掩码解码器；使用大规模语义分割数据集上预训练好的vit-base深度学习网络参数初始化H1的参数，以夹杂物分割区域数据集Z1＝X，L1中图像集X作为网络输入，夹杂物区域标记L1作为网络输出端的预测目标，另外初始化H2的参数，以背景数据集Z2＝X，L2中图像集X作为网络输入，夹杂物背景区域标记L2作为网络输出端的预测目标；2构建语义分割损失函数，损失函数是Dice损失和交叉熵损失的未加权和，其中DiceLoss为Dice损失，BCE为交叉熵损失，y为真实值，对于H1来说，输入的真实值就是标记的夹杂物区域，对于H2来说，输入的真实值为标记的背景区域，为预测值，对于H1来说，输出的预测值就是预测的夹杂物区域，对于H2来说，输出的预测值为输出的背景区域；3在训练过程中，设置优化器、优化器参数、初始学习率；步骤6使用图像分类数据集Z3＝X,C训练图像分类网络R得到钢中非金属夹杂物分类器R1；具体步骤如下：1利用在ImageNet等大型数据集上预训练好的ResNet50深度神经网络来初始化其骨干网络部分的参数，在训练过程中，使用夹杂物分类数据集Z3作为网络输入，将夹杂物的类别标记c作为网络输出端的预测目标；2构建图片分类损失函数， 其中M为类别数量，yic为符号函数0或1，当样本i的真实类别为c取1，否则取0，pic为观测样本i属于类别c的概率；3在训练过程中，设置优化器、初始学习率、优化器参数、weight_decay；步骤7钢中非金属夹杂物语义分割模型H1和钢中非金属夹杂物背景语义分割模型H2训练完成之后，执行测试任务，以测试试样图像x作为输入，使用语义分割模型H1和H2，获得钢中非金属夹杂物分割区域合集pre_l1和钢中非金属夹杂物背景区域合集pre_l2；步骤8为了得到更加清晰的夹杂物区域，将步骤7中的背景区域合集pre_l2进行反色操作，即将其中的像素值进行取反，使得原本代表背景的像素变为代表夹杂物的像素；随后将反色后的背景区域与夹杂物分割区域合集pre_l1进行合并操作，降低误检率，得到更为精确和完整的夹杂物区域pre_l3；步骤9将夹杂物区域pre_l3进一步拆分成单个夹杂物的mask，采用图像处理中的形态学操作，包括腐蚀、膨胀；来优化夹杂物mask的形状，并通过连通区域分析方法将夹杂物mask拆分成单个夹杂物的mask图像，将每个夹杂物的mask与原图进行叠加操作，使得mask中对应于夹杂物的区域在原始图像中得以突出显示，而其他区域变成白色，获得[mask1、mask2…]；步骤10钢中非金属夹杂物图像分类模型R1训练完成之后，执行测试任务，将步骤9中的获得的[mask1、mask2…]作为测试试样输入到预先训练好的分类器R1中，对夹杂物进行分类获取类别c；步骤11为方便计算夹杂物实际尺寸，要进行比例尺换算，首先进行图像预处理，再进行比例尺定位，随后进行比例尺数字识别和其刻度线提取，最后进行比例换算；步骤12针对步骤8预测出的pre_l3和步骤10中预测出的夹杂物类别c，进行不同类别的形态学计算，后根据国家标准GBT10561-2005《钢中非金属夹杂物含量的测定标准评级图显微检验法》中的夹杂物评级标准进行计算，钢中非金属夹杂物评级界限，最小值；具体步骤如下：1根据步骤10中获得的类别A、B、C、D，针对不同的夹杂物有不同的计算方式：A、B、C类属于条状串状夹杂物，按照夹杂物长度进行计算，其计算方式见步骤2；D类属于球状夹杂物，按照夹杂物数量进行计算，其计算方式见步骤3；DS类属于大型球状夹杂物，按照夹杂物的直径进行计算，其计算方式见步骤4步2针对A、B、C类属于条状、串状夹杂物，通过最小外接矩形来确定夹杂物的尺寸，获得其长、宽、中心点、偏置角度等信息，据宽度判断夹杂物属于粗系还是细系，根据其长度计算夹杂物等级；对于多个不在同一条直线上的夹杂物要判断其是否属于同一条，要计算两夹杂物之间的纵向距离d和沿轧制方向的横向距离s，夹杂物中心之间的距离，满足d≤40μm且s≤10μm时应视为一条夹杂物或串、条状夹杂物，其中纵向距离d、沿轧制方向的横向距离s、串状夹杂物的总长度L和总宽度W的计算公式如下：夹杂物纵向距离其中x1，y1为夹杂物1的中心点C1的坐标，x2，y2为夹杂物2的中心点C2的坐标，l1和l2分别是夹杂物1和夹杂物2的长度；沿轧制方向的横向距离其中k为通过中心点的两条直线的斜率，由于夹杂物的夹角θ不尽相同，其斜率也不相同，针对这种情况，最选取的夹杂物长度最长的斜率作为主斜率k，计算通过各个夹杂物中心点的斜率为k的直线，将两条直线之间的垂直距离作为两个夹杂物之间的横向距离s；串状夹杂物的总长度为L＝l1+l2+…+ln，总宽度为W＝maxw1,w2…wn，其中ln为第n个夹杂物的长度，wn为第n个夹杂物的宽度；后续根据长宽对比国家标准GBT10561-2005中的夹杂物评级表得出其级别；步骤3对于D类夹杂物，评级主要是由视场内夹杂物数量来确定，通过拟合椭圆的长轴和短轴来拟合它的等效圆直径，dn为单个夹杂物的等效圆直径，d1和d2为椭圆的长轴和短轴，通过等效圆直径判断D类属于细系还是粗系，然后根据数量判断D类夹杂物的级别；步骤4DS类夹杂物属于“超尺寸”D类夹杂物，按照直径来进行评级，直径计算方式同步骤3。

全文数据：

权利要求：

百度查询： 冶金自动化研究设计院有限公司 一种基于深度学习的钢中非金属夹杂物的智能评级方法