买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京工业大学申请的专利一种基于生成伪融合特征的室外RGB-T目标跟踪算法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116433721B 。

龙图腾网通过国家知识产权局官网在2026-03-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310218025.8，技术领域涉及：G06T7/246；该发明授权一种基于生成伪融合特征的室外RGB-T目标跟踪算法是由张辉;栾天;庞银冬;李嘉锋;卓力设计研发完成，并于2023-03-08向国家知识产权局提交的专利申请。

本一种基于生成伪融合特征的室外RGB-T目标跟踪算法在说明书摘要公布了：本发明涉及一种基于生成伪融合特征的室外RGB‑T目标跟踪算法，包括生成伪融合特征网络和天气适应性增强网络。生成伪融合特征网络包括对融合特征采用先逐通道卷积再点积的方式获取更丰富的融合特征和采用低计算量的通道交换的方式实现多模态之间的信息交流。天气适应性增强网络关注跟踪器在执行室外跟踪任务时对天气类型变化的适应能力，采用多分支天气类型预测结构，计算多个天气特征提取分支对特征图的天气类型预测概率，并采用双模态并行预测的方式，提高跟踪器对天气变化的适应性，保证信息的可靠性。本发明结合多模态数据的异质性实现优势互补、提升特征的表征能力，并提高应对天气变化的能力，实现鲁棒的跟踪。

本发明授权一种基于生成伪融合特征的室外RGB-T目标跟踪算法在权利要求书中公布了：1.一种基于生成伪融合特征的室外RGB-T目标跟踪方法，其特征在于： 网络结构由多模态特征提取网络、生成伪融合特征网络、天气适应性增强网络以及分类网络组成； 1首先利用多模态特征提取网络完成特征的提取，采用分别提取可见光和热红外特征的网络结构，每个模态的特征提取网络结构相同，称为双流网络结构；双流网络结构中针对每一个模态网络分支均包括3个卷积层、1个最大值池化层、3个非线性激活ReLU层和2个局部相应归一化层； 2利用生成伪融合特征网络，在每层特征提取之后，对深度特征进行模态间的融合； 具体实现方式为输入可见光和热红外图像之后，经卷积层处理得到特征Vl∈C×W×H和Il∈C×W×H,分别代表经第l层卷积处理之后得到的可见光特征和热红外特征，其中l∈{1,2,3}，C表示特征图的通道数，具体来讲，经过第一层卷积提取后，特征图通道数为96；经过第二层卷积提取后，特征图通道数为256；经过第三层卷积提取后，特征图通道数为512；W表示特征图的宽度，H表示特征图的高度；在每个特征提取层获得特征Vl和Il后，利用轻量化逐通道卷积，再结合逐点卷积的方式整合各通道的特征信息，得到每层的生成伪融合特征Al，将生成伪融合特征Al分别与特征Vl和Il进行通道交换操作，得到通道交换后的可见光模态特征VlC∈C×W×H和热红外模态特征再将通道交换后的特征VlC和分别与特征Vl和Il对应相加，得到每层经过生成伪融合特征网络操作后的特征VlD∈C×W×H和 3在天气适应性增强网络中，采用多分支结构，根据不同天气类型数据集所含类别信息，采用在主干特征提取网络层之后添加额外特征提取层的方式，对天气类别信息进行区分；具体实现方式为将经过生成伪融合特征网络操作后得到的特征和输入到天气适应性增强网络中，和分别表示当l＝3时，即经第3层卷积处理之后得到的可见光特征和热红外特征，根据特征和包含的天气类别信息，将特征图输入到相应的天气类型评估分支tj，其中j代表天气类别，包括多云、下雨、下雪、雾和雷雨天气；将经过天气类型评估分支tj操作后得到的特征图与特征和相加，得到所需的天气适应性增强特征FV和FI，最后通过相加操作合并两个模态的特征图，如公式1所示，得到特征图FA输入到分类网络中； FA＝FV+FI1 3分类网络；分类网络中共包含3个全连接层，其中第一个全连接层有512个输出单元，再经过ReLU模块处理，送入第二个全连接层；在第二个全连接层中同样有512个输出单元，并使用ReLU和Dropouts模块；第三个全连接层用于区分目标和背景，采用二分类交叉熵损失作为损失函数，利用网络输出的分类得分，实现目标和背景的区分； 离线训练过程的具体步骤如下：包括预训练模型加载；网络参数设置；网络损失函数设置；模型获取； 1预训练模型的加载：采用两分支分别提取可见光图像特征和热红外图像特征的网络结构，分别输入可见光和热红外模态的图像，特征提取网络的两个分支均加载在大规模目标分类数据集ImageNet上进行预训练的轻量级卷积神经网络VGG-M的前三个卷积层，第一层卷积包括7×7的卷积核、步长为2，非线性激活层ReLU和局部响应归一化层，输出96通道；第二层卷积包括5×5的卷积核、步长为2，非线性激活层ReLU和局部响应归一化层，输出256通道；第三层卷积包括3×3的卷积核、步长为1，再结合非线性激活层ReLU，输出512通道； 2网络参数设置：设置在训练过程中对网络进行100次迭代，批次大小设置为8，在每个批次中针对不同的帧均生成32个正样本和96个负样本送入分类网络中；特征提取及特征融合部分的学习率设置为0.0001；分类网络中共包含3个全连接层，其中前两个全连接层的学习率设置为0.0001，最后一个全连接层的学习率设置为0.001，动量和权重衰减分别设置为0.9和0.0005；基于上述内容完成网络预训练模型的加载和初始模型参数设置，开始迭代训练过程，直到训练结束为止； 3网络损失函数设置：在训练过程中，网络利用分类损失和实例嵌入损失相结合作为总的分类损失函数；分类损失函数如公式2所示： 其中N表示样本的数量，y表示二值分类标签，y∈{0,1}，yi表示第i个样本所对应的二值分类标签，yi∈{0,1}；c表示正负样本的类别标签，若二值分类标签与正负样本的标签一致，则yic＝1，否则为0；k表示不同的视频序列，可描述为不同的域；S表示二值分类得分，对不同域中表示第k个域中第i个样本的二值分类得分，表示通过softmax层计算出来的归一化结果； 实例嵌入损失在计算过程中，仅采用正样本进行计算，可表示为公式3： 式中表示第i个正样本的二值分类得分，表示通过归一化层计算出来的第i个正样本分类得分，表示第i个正样本所对应的二值分类标签，N表示样本的数量，k表示不同的视频序列，K表示视频序列总数； 综上所述，整体网络的训练过程损失函数，可表示为公式4： L＝Lcls+λ1Linst4其中，λ1是控制损失项间平衡的超参数，设置为0.1； 4模型获取：对不同的域k中的正负样本，在分类网络中均可得到相应的二值分类得分S，计算每一轮中每个域k中每个正负样本的准确率得分，并求和取平均，得到针对该域k的分类准确率平均得分；在每一轮的训练中逐步对所有域计算分类准确率平均得分，在所有域都计算结束后，将所有域的分类平均准确率再求和取平均，得到本轮训练的准确率预测得分Spre；如公式5所示；在训练过程中比较每轮中Spre值的大小，训练结束后，保留Spre值最大的训练轮次所对应的网络训练模型； 其中N表示每个域中的样本数量，Nk代表域的数量，表示第k个域中第i个样本的二值分类得分； 在线跟踪过程包括模型的加载、天气类型估计、初始帧目标框的回归、生成候选样本、选取最佳候选样本、在线更新； 1模型加载：将训练后得到的网络模型，加载到在线跟踪过程中执行跟踪任务； 2天气类型估计：将经过第三特征提取层的生成伪融合特征网络操作后得到的的可见光特征和热红外特征输入到天气适应性增强网络中，利用多分支结构对每张特征图的天气类型进行评估；具体实现方式为将特征和输入到天气适应性增强网络中，将每张特征图输入到每个模态所有天气类型评估分支tj中，得到对应每个天气类别的特征其中j代表天气类别信息的序号，分别对应多云、下雨、下雪、雾和雷雨天气；将每张特征图经过所有天气类型评估分支tj所得到的特征图做通道联级，得到特征VtD，如公式6和公式7所示； 将每个模态做通道联级后的特征图VtD，通过softmax操作，计算每个分支的权重wj；选择权重wj最高的分支tj所输出的特征图，如公式8和公式9所示； 将权重最高的特征图与所得权重wj加权融合，并与第三特征提取层的生成伪融合特征网络操作后得到的的可见光特征和热红外特征分模态对应相加，得到所需的天气适应性增强特征FV和FI，如公式10和公式11所示； 最后通过相加操作合并两个模态的特征图，如公式1所示，得到特征图FA输入到分类网络中； 3初始帧目标框的回归：当执行跟踪任务时，首先利用初始帧学习分类层的权重和偏置，提高对新域中跟踪目标的适应性；具体实现方式为以初始帧目标的真值边界框为中心，按重叠度IOU0.7收集500个正样本，按重叠度IOU0.5收集5000个负样本，先后经过分类网络中的两个全连接层后，获得512大小的特征向量送入分类层，在分类层中先经过Dropouts层，防止网络过拟合，再使用softmax损失得到每个样本的分类得分，大小均为2维；由此获得针对新域的分类层，继续完成之后的目标跟踪任务； 4生成候选样本：通过高斯采样的方式从前一帧的预测位置收集候选样本集 5选取最佳候选样本：目标候选样本经过全连接层和分类层的处理，输出候选样本的分类结果；根据样本的分类分数，按分数的高低对样本进行排序，选择得分最高的样本区域作为当前帧的跟踪结果，最佳样本的选择如公式12所示： 其中，m是候选样本标号m＝1,2,...,256，表示第m个正样本的分类得分，表示通过网络计算后分类得分最高的候选样本； 6在线更新。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京工业大学，其通讯地址为：100124 北京市朝阳区平乐园100号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。