买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江南大学

摘要：本发明涉及行人检索技术领域，尤其是指一种频率自适应的跨模态行人检索方法及装置，通过构建跨模态频域自适应模型对包含行人的可见光图像和红外图像进行匹配。所述跨模态频域自适应模型包括特征抽取器、频域自适应编码器和多分支嵌入模块。频域自适应编码器包括依次连接的高低频感知单元、频域自注意力机制和扩展通道残差块，能够提取高频细节信息和低频全局信息。多分支嵌入模块包括多个嵌入分支，每个嵌入分支包括下采样层、具有不同扩张率3×3卷积层和上采样层，可以生成更多的特征嵌入表示来增强模型的学习，提升了特征表示的多样性。本发明充分考虑了可见光图像和红外图像之间的高低频特征，提高了跨模态行人检索的准确性。

主权项：1.一种频率自适应的跨模态行人检索方法，其特征在于，包括：构建跨模态频域自适应模型，包括依次连接的特征抽取器、第一频域自适应编码器、第二频域自适应编码器、第三频域自适应编码器和多分支嵌入模块；所述第一频域自适应编码器、第二频域自适应编码器和第三频域自适应编码器均包括依次连接的高低频感知单元、频域自注意力机制和扩展通道残差块；将多对包含行人的可见光图像和红外图像输入至跨模态频域自适应模型，输出对应的多个目标可见光特征和目标红外特征，包括：可见光图像输入至特征抽取器的可见光特征抽取子模块，输出可见光特征图；红外图像输入至特征抽取器的红外特征抽取子模块，输出红外特征图；可见光特征图与红外特征图的拼接特征作为特征抽取器的输出；将拼接特征输入至第一频域自适应编码器的高低频感知单元，经过Resnet层后输出第一高频特征；将第一高频特征输入至第一深度可分离卷积，输出第二高频特征；通过残差连接结构将第一高频特征和第二高频特征相加，得到目标高频特征；同时，拼接特征经过高低频感知单元的第二深度可分离卷积，输出第一低频特征；通过残差连接结构将拼接特征和第一低频特征相加，得到目标低频特征；将目标高频特征和目标低频特征输入至第一频域自适应编码器的频域自注意力机制，得到频域自注意力机制的输出特征；将频域自注意力机制的输出特征输入至第一频域自适应编码器的扩展通道残差块，得到第一频域自适应编码器的输出特征；所述扩展通道残差块包括依次连接的扩展层、第三深度可分离卷积和投影层；第一频域自适应编码器的输出特征依次经过第二频域自适应编码器、第三频域自适应编码器，得到第三频域自适应编码器的输出特征；将第三频域自适应编码器的输出特征分别输入至多分支嵌入模块的多个嵌入分支，每个嵌入分支的输出特征与第三频域自适应编码器的输出特征拼接在一起后应用Dropout正则化，得到多分支嵌入模块的输出特征；将多分支嵌入模块的输出特征分离为多个目标可见光特征和目标红外特征；计算每个目标可见光特征和每个目标红外特征之间的余弦相似度，基于余弦相似度对目标可见光特征和目标红外特征对应的可见光图像和红外图像进行匹配。

全文数据：

权利要求：

百度查询： 江南大学 一种频率自适应的跨模态行人检索方法及装置