买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东省地震工程研究院

摘要：本发明提供一种结合多模态信息和人工智能的结构损伤识别方法及系统，涉及结构检测技术领域，包括获取不同成像原理的图像信息和不同频域范围的声音信息，将图像信息输入图像特征提取模型，提取图像特征向量；将声音信息输入声音特征提取模型，提取声音特征向量；基于多模态特征融合模块，通过构建模态间的流形映射和流形对齐，将图像特征向量和声音特征向量投影到同一低维流形空间，得到融合特征向量；将融合特征向量输入结构损伤识别模型，结构损伤识别模型包括按照粒度由粗到细划分的多个识别子模型，基于各识别子模型的识别误差，结合注意力机制，自适应调节各识别子模型的输出权重，生成结构损伤识别结果。

主权项：1.结合多模态信息和人工智能的结构损伤识别方法，其特征在于，包括：获取不同成像原理的图像信息和不同频域范围的声音信息，将所述图像信息输入图像特征提取模型，提取图像特征向量；将所述声音信息输入声音特征提取模型，提取声音特征向量；基于多模态特征融合模块，通过构建模态间的流形映射和流形对齐，将所述图像特征向量和声音特征向量投影到同一低维流形空间，得到融合特征向量；将所述融合特征向量输入结构损伤识别模型，所述结构损伤识别模型包括按照粒度由粗到细划分的多个识别子模型，基于各识别子模型的识别误差，结合注意力机制，自适应调节各识别子模型的输出权重，生成结构损伤识别结果；基于多模态特征融合模块，通过构建模态间的流形映射和流形对齐，将所述图像特征向量和声音特征向量投影到同一低维流形空间，得到融合特征向量包括：基于图像对应的第一模态，构建第一变分自编码器；基于声音对应的第二模态，构建第二变分自编码器；通过迭代训练，最小化第一变分自编码器和第二变分自编码器中的重构损失，学习第一模态和第二模态的本质特征，基于所述本质特征，在第一模态和第二模态之间进行对比损失训练，最大化相似样本对的相似度，以及最小化不相似样本对的相似度，确定最优第一变分自编码器和最优第二变分自编码器；以最优第一变分自编码器中的编码器部分作为图像特征空间到公共流形空间的图像特征映射函数，以最优第二变分自编码器的编码器部分作为声音特征空间到公共流形空间的声音特征映射函数；基于所述图像特征映射函数和所述声音特征映射函数，将所述图像特征向量和所述声音特征向量投影到所述公共流形空间，迭代调整综合流形对齐损失，所述综合流形对齐损失包括最大平均差异损失、相关对齐损失、对抗对齐损失和循环一致性损失，直到得到综合流形对齐损失的最小化结果，完成全局流形对齐；基于每一个样本，根据特征相似度选取所述样本在另一模态中的最近邻样本构建局部流形，最小化每个所述样本与在另一模态中对应的最近邻样本在所述公共流形空间中的距离，完成局部流形对齐；基于所述全局流形对齐和所述局部流形对齐，结合注意力机制，自适应分配所述图像特征向量和所述声音特征向量的权重，生成多模态融合特征向量；将所述融合特征向量输入结构损伤识别模型，所述结构损伤识别模型包括按照粒度由粗到细划分的多个识别子模型，基于各识别子模型的识别误差，结合注意力机制，自适应调节各识别子模型的输出权重，生成结构损伤识别结果包括：所述结构损伤识别模型由多个并行的识别子模型组成，包括最粗粒度识别子模型、多个中间粒度识别子模型和最细粒度识别子模型；所述最粗粒度识别子模型通过卷积神经网络，提取所述融合特征向量中的高层语义信息，获得结构损伤的总体表示；多个所述中间粒度识别子模型，基于所述最粗粒度识别子模型构建，通过确定多个不同的空洞卷积，结合注意力机制，提取结构损伤的局部表示；所述最细粒度识别子模型采用深度残差网络，提取结构损伤的细节表示，结合预先确定的结构损伤知识图谱，对结构损伤进行定位和分类；分别计算所述最粗粒度识别子模型、每个所述中间粒度识别子模型和所述最细粒度识别子模型对应的损伤识别误差，将各识别子模型的输出与真实损伤标签进行比较，得到各识别子模型的识别误差值，基于所述识别误差值，生成各识别子模型的注意力权重；基于所述注意力权重，对所述最粗粒度识别子模型、所述中间粒度识别子模型和所述最细粒度识别子模型对应的输出特征进行加权融合，将每个识别子模型的输出特征乘以对应的注意力权重，进行元素级别的加和，得到最终的损伤识别特征，生成结构损伤识别结果。

全文数据：

权利要求：

百度查询： 山东省地震工程研究院 结合多模态信息和人工智能的结构损伤识别方法及系统