买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉大学

摘要：本发明公开了一种融合数据增强和深度学习的印章识别方法，包括：获取印章图像，并对印章图像进行识别与标注；对标注的印章图像进行数据增强，得到增强后的图像数据并将其划分训练集、验证集和测试集；构建ViT深度学习模型，ViT深度学习模型用于对印章图像进行识别，采用训练集训练ViT深度学习模型并采用验证集进行验证得到训练后的ViT深度学习模型，最后采用测试集对训练后的ViT深度学习模型的性能进行评价选出性能符合要求的ViT深度学习模型；采用得到的ViT深度学习模型对待识别的印章图像进行识别。本发明解决了训练集数据缺乏的情况下难以对神经网络模型进行充分训练的问题，以实现对印章图像的准确识别。

主权项：1.一种融合数据增强和深度学习的印章识别方法，其特征在于，包括如下步骤：步骤1、获取印章图像，并对印章图像进行识别与标注；步骤2、对标注的印章图像进行数据增强，得到增强后的图像数据并将其划分为训练集、验证集和测试集；步骤3、构建基于VisionTransformer模型的ViT深度学习模型，ViT深度学习模型用于对印章图像进行识别，采用训练集训练ViT深度学习模型并采用验证集进行验证得到训练后的ViT深度学习模型，最后采用测试集对训练后的ViT深度学习模型的性能进行评价选出性能符合要求的ViT深度学习模型；步骤4、采用步骤3得到的ViT深度学习模型对待识别的印章图像进行识别；步骤2中数据增强包括对印章图像进行图像缩小、图像裁剪、图像亮度调整、图像对比度调整、图像掩盖、图像旋转、图像翻转、图像字迹覆盖、图像纹理覆盖、图像随机噪声和图像边缘膨胀；图像裁剪的方法为：设置两个随机小数r1∈[0,1]和r2∈[0.1,0.6]，当r10.5时，进行横向裁剪；当r1≥0.5时，进行纵向裁剪；在裁剪过程中，当r1第二位数字为偶数时，选择从上到下或从左向右裁剪；当r1的第二位数字为奇数时，选择从右向左或从下到上裁剪，r2为裁剪比例；图像亮度调整的方法为：设置一个随机小数r3∈[0.2,4]，并将图像的Gamma值设置为r3，当r31时，增加图像亮度，当r31时，降低图像亮度；图像对比度调整的方法为：设置一个随机小数r4∈[0.2,1.2]，并将图像的contrast参数值设置为r4，当r41时，增加图像对比度，而当r41时，降低图像的对比度；图像掩盖的方法为：从随机整数r5∈[1,10]中选取覆盖区域的个数，然后从随机整数r6∈[5,50]中选取覆盖区域的边长，接着从随机整数w∈[1,a]、h∈[1,b]中分别选取所述覆盖区域的左上角的横纵坐标，其中，a和b分别表示印章图像的宽和高，最后，将该区域填充为黑色；图像字迹覆盖的方法为：首先使用PythonImageLibrary引入手写字体库，然后从印章所在作品的内容中随机选取一个字，其次从随机数r8∈[5,30]中选取所述字的字号；再次，从随机数w∈[1,a]、h∈[1,b]中分别选取一个整数作为所述字所在区域的左上角坐标，其中a和b分别表示印章图像的宽和高，以左上角坐标为起点选取一个包含所述字的区域并将所述区域覆盖在印章图像上；最后，按照原始印章图像的大小对覆盖后的图像进行裁剪；图像边缘膨胀方法：首先需要将印章图像转换到HSV颜色空间，所述颜色空间使用色调Hue、饱和度Saturation和亮度Value三个分量来表示颜色，通过将色调的取值范围限定在[0,36]∪[216,300]之间，以提取印章图像中的红色区域；接着，使用skimage中的morphology模块对红色区域进行膨胀操作，并在水平和垂直方向扩大r9像素，r9∈[5,15]，最后将扩大的区域填充为红色区域内的平均颜色；ViT深度学习模型包括输入层、编码层和输出层；其中，输入层接收数据增强后的图像，并对图像进行预处理生成供编码层学习的数据；编码层包括多层叠加的Transformer编码器，其用于识别印章图像的全局特征信息；输出层包括分类头，分类头包括全连接层，全连接层的输出维度等同于数据集中的类别数量，分类头用于将由Transformer编码器生成的特征表示映射到类别概率分布上，经由全连接层进行线性变换和非线性变换后，其将Transformer编码器的输出通过softmax激活函数转换成概率分布，最终输出每个类别的概率，从而实现对印章图像的识别。

全文数据：

权利要求：

百度查询： 武汉大学 融合数据增强和深度学习的印章识别方法及系统