买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉苏州大学申请的专利一种跨模态行人重识别方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119600653B 。

龙图腾网通过国家知识产权局官网在2025-10-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411690034.8，技术领域涉及：G06V40/10；该发明授权一种跨模态行人重识别方法和系统是由黄鹤;徐毅设计研发完成，并于2024-11-25向国家知识产权局提交的专利申请。

本一种跨模态行人重识别方法和系统在说明书摘要公布了：本发明涉及一种跨模态行人重识别方法和系统，其中，方法包括：在每个训练批次中，从红外可见光数据集中随机选择若干行人，每个行人包括4幅可见光图像和4幅红外图像；对可见光图像和红外图像进行预处理；将预处理后的可见光图像和红外图像输入至深度学习模型中，通过所述深度学习模型提取可见光特征、红外特征以及混合模态特征；构建总损失，通过所述总损失判断所述深度学习模型是否训练结束，若所述总损失低于预设阈值，则训练结束；若所述总损失高于预设阈值，则继续训练直至总损失低于预设阈值；将训练好的深度学习模型从待识别的可见光图像或红外图像中识别出行人。本发明通过构建的深度学习模型能够有效进行跨模态行人重识别。

本发明授权一种跨模态行人重识别方法和系统在权利要求书中公布了：1.一种跨模态行人重识别方法，其特征在于：包括： 步骤S1：在每个训练批次中，从红外可见光数据集中随机选择若干行人，每个行人包括4幅可见光图像和4幅红外图像； 步骤S2：对可见光图像和红外图像进行预处理； 步骤S3：将预处理后的可见光图像和红外图像输入至深度学习模型中，通过所述深度学习模型提取可见光特征、红外特征以及混合模态图像特征； 所述步骤S3中的深度学习模型包括依次连接的第一阶段、混合模态生成模块、第二阶段、第三阶段和第四阶段，每个阶段均包括至少一个成对出现的SwinTransformer块，每个成对出现的SwinTransformer块包括依次连接的第一子块和第二子块，其中， 所述第一子块包括依次连接的第一归一化层LN、基于窗口的多头自注意层W-MSA、第二归一化层LN、第一多层感知机MLP，并且第一归一化层LN的输入和基于窗口的多头自注意层W-MSA的输出进行矩阵元素相加后作为第二归一化层LN的输入，第二归一化层LN的输入和第一多层感知机MLP进行矩阵元素相加后作为第二子块的输入； 所述第二子块包括依次连接的第三归一化层LN、基于移位窗口的多头自注意层SW-MSA、第四归一化层LN、第二多层感知机MLP，并且第三归一化层LN的输入和基于移位窗口的多头自注意层SW-MSA的输出进行矩阵元素相加后作为第四归一化层LN的输入，第四归一化层LN的输入和第二多层感知机MLP进行矩阵元素相加后作为成对出现的SwinTransformer块的输出； 第一阶段中第一个SwinTransformer块之前设置有LinearEmbedding模块，所述LinearEmbedding模块用于将图像转化为SwinTransformer块运算所需要的补丁，第二、第三、第四阶段中第一个SwinTransformer块之前设置有PatchingMerging模块，所述PatchingMerging模块用于减少补丁数量同时增加补丁的维数，以形成特征的分层表示； 所述第一阶段输出的可见光图像特征和红外图像特征通过所述混合模态生成模块得到混合模态图像特征，包括： 设第一阶段输出的每张可见光图像特征为xV、红外图像特征为xI； 将xV通过膨胀率分别为1，2，4的第一空洞卷积，将结果相加并平均，再通过一个全连接层和一个ReLU激活函数，获得可见光部分的生成特征； 对xI通过膨胀率分别为1，2，4的第二空洞卷积，并通过一个全连接层和一个ReLU激活函数，得到红外部分的生成特征； 为提取红外图像和可见光图像共同的场景级别的上下文信息，并对背景特征进行特征生成，将xV和xI通过同一个自适应平均池化和1x1卷积并将两者进行像素上的点积，得到共同背景特征，再通过双线性插值调整到与第一阶段输出的图像特征相同的大小，经过ReLU激活函数得到全局背景生成特征； 最后将可见光部分的生成特征、红外部分的生成特征和全局背景生成特征相加并平均，得到最终的混合模态图像特征； 为了保持最终的混合模态图像特征具有一致性，在所述总损失中引入模态一致性损失，公式为： 其中，l2·代表L2正则化，ftH表示生成出的混合模态的第t张图像，表示生成出的混合模态的第s张图像，||·||2代表欧氏距离，n为同一行人混合模态的数量； 步骤S4：构建总损失，通过所述总损失判断所述深度学习模型是否训练结束，若所述总损失低于预设阈值，则训练结束；若所述总损失高于预设阈值，则继续训练直至总损失低于预设阈值，其中， 所述总损失包括基于所述可见光特征和红外特征构建的局部最大平均差异损失、基于所述可见光特征和红外特征构建的模态间散度损失、基于所述可见光特征、红外特征和混合模态图像特征构建的圆损失、基于所述可见光特征、红外特征和混合模态图像特征构建的交叉熵损失； 所述步骤S4中基于所述可见光特征和红外特征构建的局部最大平均差异损失的公式为： 其中，H表示再生希尔伯特空间，φ·表示再生希尔伯特空间转换映射，Nid代表行人身份的总类别数，NV表示训练批次中可见光图像数量，fiV表示第i张可见光图像的特征，表示fiV属于类别k的概率权重，NI表示训练批次中红外图像数量，表示第j张红外图像的特征，表示属于类别k的概率权重，||a-b||2表示a和b的距离平方； 所述步骤S4中基于所述可见光特征和红外特征构建的模态间散度损失的公式为： 其中，NV、NI分别代表训练批次中可见光图像和红外图像的数量，CV、CI分别代表可见光图像分类器和红外图像分类器，表示第j张红外图像的特征，fiV表示第i张可见光图像的特征； 所述步骤S4中基于所述可见光特征、红外特征和混合模态图像特征构建的圆损失的公式为: 其中，sp＝wyfm||wy||||fm||,m∈{V,I,H}，sp分别表示类内相似度得分和类间相似度得分，wj，wy分别表示非目标的分类权重和目标的分类权重，wj，wy分别表示wj和wy的转置，fm表示属于模态m的图像特征，m为图像特征所属的模态，V，I，H分别表示可见光模态，红外模态和混合模态，||·||表示L2范数，分别代表圆损失第一、第二权重系数，Δn、Δp、γ分别为第一、第二和第三超参数； 所述步骤S4中基于所述可见光特征、红外特征和混合模态图像特征构建的交叉熵损失，具体为： 将所述可见光特征、红外特征和混合模态图像特征通过分类层得到各自的类别得分，基于各自的类别得分构建交叉熵损失，公式为： 其中，NV，NI，NH分别表示训练批次中可见光图像、红外图像和混合模态图像的数量，Nid代表行人身份的总类别数，yi,k表示第i张图像属于第k个行人的真实类别得分，表示第i张图像属于第k个行人的预测类别得分，m为图像特征所属的模态，V，I，H分别表示可见光模态，红外模态和混合模态； 步骤S5：将训练好的深度学习模型从待识别的可见光图像或红外图像中识别出行人。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人苏州大学，其通讯地址为：215000 江苏省苏州市吴江区久泳西路1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。