买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：沈阳派得林科技有限责任公司

摘要：本发明涉及底片字符识别和人工智能技术领域，具体涉及一种工业射线底片图像铅字编号识别方法，基于深度学习和边缘特征，包括数据收集模块、图像检测模块和字符处理模块。本发明采用了包括传统边缘检测和深度学习方法在内的融合算法，可以有效的提高识别准确率。为了确保检测出的铅字编号的有效性，算法在识别前需要获知待检测铅字编号的开头部分，从而确定检测起点。在结束处，算法中加入了大量的逻辑判断，来确定铅字编号的合法结束点。考虑到底片铅字形态变化大，铅字位置存在一定的偏移，算法中对应作出了相应的处理，保证算法对于原始图像的宽容度。考虑到实际底片的图像特征，采用了多种手段进行图像预处理，避免了图像质量对算法的影响。

主权项：1.一种工业射线底片图像铅字编号识别方法，其特征在于，包括如下步骤：步骤1：采集图像数据所述数据包括：图像原始dicom数据、图像数据；根据原始图像dicom数据，取出其中的像素数据，根据其数据位数，将其转为无符号8位整数类型，得到待检测图像数据；步骤2：铅字编号开头部分检测步骤2.1：数据集标注以每种编号开头作为一个类别，在原始图像中使用矩形框标注出铅字编号开头部分，生成矩形框标注及标签；原始标注中包含xmin,ymin,xmax,ymax，分别为x较小值、y较小值、x较大值、y较大值；标签内容为预先设定好，能够反应标注内容的简单文本；步骤2.2：图像随机切片图像使用灰度方式读取，原始图像数据的尺寸为m×n，将原始图像切片为尺寸更小的图像；Yolov5可以接收任意尺寸的图像输入，但其会将其尺寸变换为正方形再输入到网络中，将切片后的图像形状调整为正方形；为了增加训练数据集数量，提高特征分布丰富程度，同时保证标注区域完整，切分时采取随机切分策略，让标注框随机分布在切分后的小图中；设切分后小图左上角点坐标为x,y，原始大图右下角点坐标为X,Y，图像标注区域坐标为xmin,ymin,xmax,ymax，则x应满足maxxmax,0-w＜x＜minxmin,x1其中w为小图宽度，x在满足上述条件的情况下随机取值；步骤2.3：模型训练使用处理后的图像和标签送入Yolov5训练，训练前调整数据增强方式，降低Mixup、Mosaic增强参数，使图像标注框保持完整性；调整其余增强手段，平移、翻转、HSV-Hue、HSV-Saturation、HSV-Value，提高训练精度，提高训练及推理效率，同时降低训练难度，防止过拟合；算法使用轻量化的yolov5s模型，模型大小仅为14MB；网络backbone部分包含4层Conv层，将图像通道层扩展至1024，并使用3层CSP层增加网络深度，进行前向传播运算，生成多个Boundingbox，每个Boundingbox包括如下元素：x,y,w,h,conf0,conf1,...2其中，xy为Boundingbox中心点坐标，wh为Boundingbox宽度和高度，confn为第n类的置信度；对模型输出的检测框进行NMS处理，并对置信度取全局最大值，即为模型输出结果；使用上述数据集训练，硬件使用NVIDIAGPU，模型mAP@.5:.95为75.4；AP＝∫prdrmAP＝mean∑AP3其中，pr:Precision-Recall曲线，AP:同一类别下，P-R曲线下的面积，mAP：所有类别AP值的平均；步骤2.4：模型推理使用训练好的模型进行推理，推理前，将原始图像切分为小图，切分时相邻图像之间保留一定长度的重叠，重叠长度大于训练数据集中标注框平均宽度，这样可确保切分后图像中至少有一张，包含完整的待检测铅字；推理后，将所得结果进行合并，即得出编号开头部分检测结果Rs，步骤3：铅字编号其余字符检测步骤3.1：图像预处理读取图像灰度图，获取图像尺寸大小；使用算法去掉底片图像左右两侧白色边缘，去掉上下两侧白色边缘；算法中采用标准差、均值求和作为待检测值，当其出现异常时，采用如下计算方法修正：v＝v×Ss4其中v为像素值，S为标准差基准值，s为图像标准差值；v＝v+M-m5其中M为均值基准值，m为图像均值，v取值范围为[0,255]；步骤3.2：检测铅字区域对原始图像进行形态学处理，提高其边缘锐利程度，并去除孤立区域，使用经典Canny边缘检测算法，获取图像中的边缘信息，并通过闭合边缘，提取闭合检测区域，作为候选的铅字区域；使用检测框水平方向的方差值来判断编号信息所在的位置，在图像中寻找可将全部检测区域线性分开的直线，直线两侧方差值较低的一侧即为所求区域，另一侧的检测框则被丢弃；获取的铅字区域之间会出现重叠，造成重复检测；当R0,R1重叠时，将其合并成一个矩形框，即可以完全覆盖R的最小矩形框，作为出现重叠的矩形框的替代，避免重复检测；R＝R0∪R16其次，对于任意一个矩形检测框，其需要满足一定的条件：最大宽度、最小宽度、最大高度、最小高度、最大面积、最小面积、最大宽高比；通过对上述指标设置阈值，来过滤掉不符合要求的检测框，从而提高检测精确度、降低无用计算；步骤3.3：训练前处理然后将字符图像切分出来，送入字符分类模型处理，处理前对图像进行OTSU二值化处理和标准化处理；OTSU算法利用最大类间方差原理，将图像分为前景、背景两部分；与原始图像相比，二值图像去除了无用的灰度信息，更利于模型训练；σ2＝p1m1-mg2+p2m2-mg27其中，p1、p2为前景概率、背景概率，m1、m2为前景均值、背景均值，mg为全局均值；前景背景以灰度值k作为区分，使上式最大化的k即为OTSU所求阈值；二值图像像素值相差较大，因此对二值图像进行标准化处理，令其数据分布区间从[0,255]变换为[-1,1；有利于模型加速收敛，避免出现梯度不稳定；步骤3.4模型训练字符提取问题实际上是对检测框中的图像进行分类的问题，将处理后的图像与one-hot编码后的label，按批次送入模型训练，模型使用InceptionV3，多轮迭代后，模型在验证集中表现良好，mAP值已达0.9，具备识别图像的能力；步骤3.5模型推理将上述步骤3.2得到的检测区域切成子图，批量送入训练好的网络进行推理，推理前图像同样需要经过OTSU二值化、标准化处理，模型会给出该子图包含的字符内容，以及对应的置信度；使用阈值法标记出不可信的结果，得到了原始图像中所有检测区域的字符内容；步骤4：铅字编号提取根据步骤2得到的编号开头部分检测结果Rs，在步骤3得到的检测铅字区域中搜索满足如下条件的检测区域R：1IoURs,R＞IoUt；2不存在满足条件1的R0，且R的x值小于R0；R即为铅字编号开头部分的最后一个字符所在的区域，且根据Rs，也同时确定了底片编号的开头信息；根据已经确定的区域R，向后分段循环提取编号字符Rn，以出现连接符为分段标志，连接符包含在前一段内，由于铅字编号之间互相无水平方向重叠，为避免检测区域中的误检影响编号提取，提取Rn时需要满足如下要求：1Rn的x值大于R，且在其余候选区域内为最小值；2Rn的y值与R的差小于阈值，且在与其有水平方向重叠的候选区域内为最小值；提取Rn后，需要对余下的候选区域做如下处理：移除与Rn的y值的差小于阈值，且与其在水平方向有重叠的候选区域；提取时，算法规定了一些需要忽略的无效字符，还规定了越界、异常提取终止点；步骤5：铅字编号处理算法对上述步骤得到的字符串进行处理，主要包括以下内容：1去除多余字符：除编号外，底片铅字信息中还包括日期、管径、尺寸；根据不同信息的格式及特征，算法将这些信息从字符串中一一去除；同时，为了确保准确性，算法统计出字符间平均水平距离Dm，当字符间距明显大于Dm时，且不位于分段处、后续字符不为字母时，去除后续所有字符；2利用台账信息补全：台账中包含铅字编号中部分信息，当算法识别字符有误时，利用台账中已有的信息，补全编号开头后的字母。

全文数据：

权利要求：

百度查询： 沈阳派得林科技有限责任公司 一种工业射线底片图像铅字编号识别方法