买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：哈尔滨工业大学

摘要：本发明提出了一种基于视觉大模型蒸馏的桥梁表观裂缝提取方法，属于桥梁表观病害智能提取领域，包括：收集通用目标分割数据集和桥梁裂缝分割数据集，形成蒸馏数据集和表观裂缝提取数据集；建立与视觉大模型SAM进行蒸馏的轻量化裂缝提取编码器；采用蒸馏数据集进行蒸馏，蒸馏目标为视觉大模型SAM和轻量化裂缝提取编码器生成的图像嵌入差别最小；在轻量化裂缝提取编码器后增加裂缝提取解码器，形成桥梁表观裂缝提取模型；使用组合损失函数对桥梁表观裂缝提取模型进行训练；利用训练好的模型进行桥梁表观裂缝图像的裂缝提取。本发明显著地降低了模型的参数量和运行时间，即能准确又能快速的对裂缝进行提取。

主权项：1.一种基于视觉大模型蒸馏的桥梁表观裂缝提取方法，其特征在于，方法步骤如下：步骤S1：按照图片数量1％-5％的比例随机抽取SAM模型的SA-1B数据集中的图片，形成本方法应用的蒸馏数据集，收集网络上开源的桥梁裂缝分割数据集并进行标注形式的统一化，形成本方法应用的表观裂缝提取数据集；步骤S2：建立与视觉大模型SAM进行蒸馏的轻量化裂缝提取编码器，包括上采样层、Patch嵌入层、移动卷积层和Transformer层，编码器生成的图像嵌入记作而将视觉大模型SAM编码器生成的图像嵌入记作步骤S3：采用步骤S1中的蒸馏数据集进行模型蒸馏，蒸馏时只需要蒸馏数据集中的图像数据，而不需要标注数据，将同一张图像分别输入视觉大模型SAM中和轻量化裂缝提取编码器中，分别得到图像嵌入和蒸馏的目标就是使得和的差别小到允许误差以内，蒸馏完成时保存轻量化裂缝提取编码器中的权重；所述的蒸馏的目标具体为：采用均方差误差指标来评估和的相似度，当平均每张图像的和的均方差误差小于0.1时，即认为蒸馏完成；其中，蒸馏的目标函数为： 式中，ω为轻量化裂缝提取编码器中的权重；N为蒸馏数据集中的图像数量；所述的蒸馏的过程具体为：模型蒸馏所需的蒸馏数据集中图像数量在10万张以内，在模型蒸馏时，视觉大模型SAM保留原始权重不变，而轻量化裂缝提取编码器的权重采用He初始化后进行更新；步骤S4：在步骤S2建立的轻量化裂缝提取编码器后增加裂缝提取解码器，包括反卷积层、多尺度卷积层、普通卷积层以及上采样层，将轻量化裂缝提取编码器和裂缝提取解码器进行串联形成视觉大模型蒸馏完成的桥梁表观裂缝提取模型；步骤S5：使用步骤S1的表观裂缝提取数据集对桥梁表观裂缝提取模型进行训练，训练的损失函数为DICE损失、交叉熵损失和图像相似度损失的组合函数，训练时，轻量化裂缝提取编码器的权重保留步骤S2中蒸馏完成时的权重而不进行更新，轻量化裂缝提取解码器的权重先进行He初始化后再进行更新；步骤S6：将待辨识的桥梁表观裂缝图像以RGB三通道的24位图片格式输入到步骤S5中训练好的桥梁表观裂缝提取模型中，即能生成对应的表观裂缝提取结果，该结果以二值化图像形式存储，其中裂缝处的像素值对应为255，其他位置为0。

全文数据：

权利要求：

百度查询： 哈尔滨工业大学 基于视觉大模型蒸馏的桥梁表观裂缝提取方法