买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华侨大学;厦门亿联网络技术股份有限公司

摘要：本发明公开了一种基于异种神经网络的多模态东北虎再辨识方法及装置，涉及机器视觉技术领域，可应用于跟踪东北虎的活动轨迹调查，对保护濒危的东北虎具有重大意义。本发明的异种神经网络包括用双分支残差神经网络和Transformer网络，其中，双分支残差卷积神经网络用于先对红外图像和可见光图像学习局部特征；Transformer网络对由双分支残差卷积神经网络学得的红外图像和可见光图像的局部特征，利用自注意力机制学习东北虎的全局特征。双分支残差卷积神经网络的各分支结构相同但参数独立，用于处理红外和可见光东北虎图像光谱、分辨率、对比度等特性；而Transformer网络从全局视角学习信息东北虎特征，减少图像模态差异带来的噪声影响，实现高准确率的东北虎再辨识。

主权项：1.一种基于异种神经网络的多模态东北虎再辨识方法，其特征在于，包括：步骤10、获取红外光图像与可见光图像的多模态东北虎图像，对所述图像进行东北虎身份标定和图像增强，然后构建训练集；步骤20、构建异种神经网络，所述异种神经网络包括双分支残差神经网络和Transformer网络；所述双分支残差神经网络包括结构相同但参数独立的两个残差卷积神经网络，用于分别对所述红外光图像和可见光图像的局部特征进行学习；步骤30、构建损失函数，利用训练集对所述异种神经网络进行训练，通过损失函数对异种神经网络进行监督，采用随机梯度下降方法进行优化，直至收敛，从而获得异种神经网络模型；步骤40、将东北虎查询图像和东北虎注册图像集输入所述异种神经网络模型，基于所提取的全局特征，计算所述东北虎查询图像与东北虎注册图像集中所有图像之间的欧式距离，并进行排序，选取距离最近的注册东北虎图像作为所述东北虎查询图像的再辨识结果；所述损失函数包括三元组损失函数和交叉熵损失函数；所述三元组损失函数在所述Transformer网络的批归一化层前，所述交叉熵损失函数在所述Transformer网络的批归一化层后；所述三元组损失函数具体为：LTRI＝maxC+da,p-da,n,0其中，a为锚点样本，p为正样本，n为反样本，且p与a具有相同的身份，n与a具有不同的身份；da,p是a和p之间的欧式距离，da,na和n之间的欧式距离；C≥0为是间隔参数；所述交叉熵损失函数具体为： 其中，M是类别数量；N是样本数量；yic为指示函数，若第i样本的类别为c则yic＝1，否则yic＝0；pic为样本属于类别c的后验概率。

全文数据：

权利要求：

百度查询： 华侨大学 厦门亿联网络技术股份有限公司 一种基于异种神经网络的多模态东北虎再辨识方法及装置