买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜北京智眸科技发展有限公司申请的专利一种基于多模态图像的多任务缺陷分割方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118887244B 。

龙图腾网通过国家知识产权局官网在2025-05-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411377670.5，技术领域涉及：G06T7/11；该发明授权一种基于多模态图像的多任务缺陷分割方法及系统是由刘旭;刘强强;牟宏磊;蒙洋;刘晶晶设计研发完成，并于2024-09-30向国家知识产权局提交的专利申请。

本一种基于多模态图像的多任务缺陷分割方法及系统在说明书摘要公布了：本申请提供一种基于多模态图像的多任务缺陷分割方法及系统。其中，根据多模态图像数据构建多模态特征融合网络；利用所述多模态特征融合网络的不同分支处理不同模态的图像数据，并通过特征变换器将不同模态的图像数据对应的特征向量映射至统一特征域，以形成融合特征；基于所述融合特征，构建多任务分割网络，并通过包含已标注缺陷位置的多模态图像数据所构建的训练集对所述多任务分割网络进行训练；利用训练完成的多任务分割网络对获取的目标多模态图像进行分割，以输出所述目标多模态图像中每个像素所属的缺陷类别以及对应的置信度。本申请提供的技术方案能够有效提高缺陷检测效率。

本发明授权一种基于多模态图像的多任务缺陷分割方法及系统在权利要求书中公布了：1.一种基于多模态图像的多任务缺陷分割方法，其特征在于，包括：根据多模态图像数据构建多模态特征融合网络；利用所述多模态特征融合网络的不同分支处理不同模态的图像数据，并通过特征变换器将不同模态的图像数据对应的特征向量映射至统一特征域，以形成融合特征；基于所述融合特征，构建多任务分割网络，并通过包含已标注缺陷位置的多模态图像数据所构建的训练集对所述多任务分割网络进行训练，其中，所述多任务分割网络用以同时执行多个分割任务，所述多个分割任务包括表面缺陷分割、内部缺陷分割、边缘检测；利用训练完成的多任务分割网络对获取的目标多模态图像进行分割，以输出所述目标多模态图像中每个像素所属的缺陷类别以及对应的置信度，所述置信度是指多任务分割网络对目标多模态图像中每个像素所属的缺陷类别预测结果的确定程度；所述根据多模态图像数据构建多模态特征融合网络，包括：设计多模态特征提取器，所述多模态特征提取器包含多个分支，每个分支用于处理不同模态的图像数据；通过每个分支的深度卷积神经网络提取对应模态的图像数据中的特征向量，并在每个分支中引入自适应注意力机制，以增强从所述多模态图像数据中提取的特征向量；基于不同模态的图像数据所提取到的特征向量以构建多模态特征融合网络；所述基于所述融合特征，构建多任务分割网络，包括：设计多头分割架构，所述多头分割架构包含多个分割头，每个分割头用于处理对应的分割任务；通过每个分割头内部的至少一个卷积层对所述融合特征进行细化出库，以生成分割掩码；基于所述分割掩码，构建多任务分割网络；所述通过包含已标注缺陷位置的多模态图像数据所构建的训练集对所述多任务分割网络进行训练，包括：使用在大型通用数据集上预先训练的模型参数来初始化所述多任务分割网络的初始参数值；对于训练集中每一个包含已标注缺陷位置的多模态图像数据，分别计算每个分割任务对应的损失值，并依据预设的多任务损失函数及各个分割任务的损失值，计算出所述多任务分割网络的总损失值；基于所述总损失值，动态调整每个分割任务的权重，以优化所述多任务分割网络在各个分割任务上的表现；通过反向传播算法，根据调整后的任务权重和所述总损失值更新所述多任务分割网络的初始参数值，以完成对所述多任务分割网络的训练；所述依据预设的多任务损失函数及各个分割任务的损失值，计算出所述多任务分割网络的总损失值，包括：通过以下公式计算所述多任务分割网络的总损失值： ；其中，表示为总损失值，表示第个分割任务的损失值，表示第个分割任务的权重系数，表示调整任务间损失平方和的系数，表示调整任务间损失指数和的系数,表示的是多任务分割网络中不同分割任务的数量；所述方法还包括：在所述多任务损失函数中加入任务间协调项，其中，所述任务间协调项定义为： ；其中，表示任务间协调项，表示分割任务的损失值和分割任务的损失值之间的相关性，表示权重系数，用于调整任务间均值差异的影响程度，表示分割任务的损失值的均值，表示分割任务的损失值的均值；其中，所述相关性通过皮尔逊相关系数确定，，表示分割任务在样本上的损失值，表示分割任务在样本上的损失值，表示分割任务的损失值的平均值，表示分割任务的损失值的平均值，表示样本数量；则调整后的多任务损失函数表示为： ；其中，表示调整后的多任务损失函数,是任务间协调项的权重系数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京智眸科技发展有限公司，其通讯地址为：100088 北京市海淀区知春路17号商业、车库二层044；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。