买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：智洋创新科技股份有限公司

摘要：本发明属于输电通道智能识别技术领域，具体涉及一种基于多模态融合的轻量化输电终端隐患识别方法、装置、电子设备及存储介质。该方法包括：获取输电终端的隐患图像数据及现场对应的环境信息，构建图像文本数据集；基于swintransformer、bert及self‑attention分别建模教师模型和学生模型，并利用图像文本数据集训练教师模型，再利用训练好的教师模型蒸馏学生模型；对蒸馏得到的学生模型进行后量化处理，得到适配于终端设备平台的轻量化输电终端隐患检测模型，用于输电终端的隐患识别。本发明利用输电智能终端采集的多模态信息，提高输电终端设备智能巡检的效率，有效降低输电事故发生的风险。

主权项：1.一种基于多模态融合的轻量化输电终端隐患识别方法，其特征在于，所述方法包括：S1、获取输电终端的隐患图像数据及现场对应的环境信息，构建图像文本数据集；S2、建模基于swintransformer的第一视觉分支、基于bert的第一文本特征分支以及基于self-attention的第一跨模态特征融合分支的教师模型，并利用所述图像文本数据集训练教师模型；S3、建模基于添加注意力机制的轻量化卷积神经网络的第二视觉分支、基于轻量化bert的第二文本分支以及基于self-attention的第二跨模态特征融合分支的学生模型，并利用训练好的所述教师模型蒸馏学生模型；S4、对蒸馏得到的所述学生模型进行后量化处理，得到适配于终端设备平台的轻量化输电终端隐患检测模型，用于输电终端的隐患识别；步骤S3中，所述学生模型训练过程包括：构建特征对齐模块，用于将教师模型的第一视觉分支、第一文本特征分支、第一跨模态特征融合分支分别与学生模型对应的第二视觉分支、第二文本分支以及第二跨模态特征融合分支进行特征对齐；冻结教师模型参数，并使用KD损失进行知识蒸馏，训练学生模型；步骤S3中，训练所述学生模型的损失函数包括：第二视觉分支特征层基于通道特征的蒸馏损失具体为： 2；式2中：表示第二视觉分支特征层基于通道特征的蒸馏损失，表示特征图的通道数，表示特征图的高度，表示特征图的宽度，表示教师特征，表示学生特征，表示特征对齐模块，分别对应表示特征层通道索引、特征层高度索引、特征层宽度索引；第二视觉分支中logic分类的蒸馏损失具体为： 3；式3中：表示第二视觉分支中logic分类的蒸馏损失，表示教师网络分类预测分数，表示学生网络分类预测分数，表示对应第个分类类别，表示分类类别总数；第二文本分支的词嵌入KD损失具体为： 4；式4中：表示第二文本分支的词嵌入KD损失，表示教师的文本嵌入特征，表示学生的文本嵌入特征，表示特征对齐映射矩阵；第二文本分支的注意力KD损失具体为： 5；式5中：表示第二文本分支的注意力KD损失，表示第层学生注意力层特征，表示第层教师注意力层特征，表示选取的对应教师模型和学生模型的注意力层数。

全文数据：

权利要求：

百度查询： 智洋创新科技股份有限公司 基于多模态融合的轻量化输电终端隐患识别方法、装置、电子设备及存储介质