买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：哈尔滨工业大学

摘要：本发明提出了一种基于视觉大模型SAM的桥梁表观裂缝像素级辨识方法，包括：采集桥梁表观裂缝图像并进行像素级标注，使用随机采样法进行训练、验证和测试集的划分；对视觉大模型SAM进行修改，删除图像嵌入之后的部分，对剩余的部分添加裂缝特征低秩适应器，形成SAM‑Crack编码器；在SAM‑Crack编码器后增加裂缝像素级辨识解码模块，形成完整的SAM‑Crack模型；使用训练集对SAM‑Crack模型进行训练，训练损失函数为DICE损失和交叉熵损失的组合函数；使用训练好的SAM‑Crack模型对待辨识的桥梁表观裂缝图像进行处理，生成裂缝像素级辨识结果。本发明大幅度提升了有限标注数据下的裂缝辨识准确率。

主权项：1.一种基于视觉大模型SAM的桥梁表观裂缝像素级辨识方法，其特征在于，步骤如下：步骤S1：对桥梁表观裂缝进行拍照，得到包含不同光照条件、不同拍摄角度、不同拍摄距离、包含不同裂缝形状的图像集，并使用图像分割任务标注工具对图像中的裂缝进行像素级人工或半自动标注，标注保存格式为单通道8位二值化图像，裂缝所在像素为1，背景所在像素为0，形成标注集，并使用随机采样法对图像集和对应的标注集进行训练集、验证集和测试集的划分；步骤S2：以视觉大模型SAM中的图像嵌入为界，分为前、后两部分，删除图像嵌入之后的部分，包括SAM的解码器、Prompt编码器和Mask编码器；步骤S3：对视觉大模型SAM中的图像嵌入前边及图像嵌入的部分进行修改，每个Transformer块中的Q映射层的前后以及V映射层的前后分别添加裂缝特征低秩适应器，且裂缝特征低秩适应器中的超参数A初始化为均值是0的高斯正态分布，超参数B初始化为0，超参数r设置为4，形成裂缝辨识大模型SAM-Crack编码器；步骤S4：在所述的裂缝辨识大模型SAM-Crack编码器后增加裂缝像素级辨识解码模块，作为裂缝辨识大模型SAM-Crack解码器，该解码器为串联结构，从前到后为反卷积块-多尺度卷积块-卷积块-插值块，所述的解码器与所述的编码器串联起来为完整的裂缝辨识大模型SAM-Crack；步骤S5：使用步骤S1得到的训练集对裂缝辨识大模型SAM-Crack进行训练，裂缝辨识大模型SAM-Crack的输入为三通道RGB图像或单通道灰度图像，输出为单通道二值化图像，裂缝辨识大模型SAM-Crack预测裂缝处的像素为1，其余位置的像素为0，训练的损失函数为DICE损失+交叉熵损失的组合函数，两个损失的权重为1:1，对于裂缝辨识大模型SAM-crack编码器，只有裂缝特征低秩适应器的权重在训练时进行权重更新，其他网络层参数保留原始SAM的权重不进行更新，对于裂缝辨识大模型SAM-Crack解码器先进行权重初始化后再进行权重更新；步骤S6：将待辨识的桥梁表观裂缝图像或步骤S1得到的测试集输入到训练好的裂缝辨识大模型SAM-Crack中，输出就是桥梁表观裂缝像素级辨识结果，辨识结果保存格式为单通道8位二值化图像，裂缝所在像素为1，背景所在像素为0。

全文数据：

权利要求：

百度查询： 哈尔滨工业大学 基于视觉大模型SAM的桥梁表观裂缝像素级辨识方法