买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明提供一种基于异构数据共享语义的舰船目标细粒度识别方法、装置和电子设备，涉及图像识别技术领域，可解决采用单一模态信息及目标信号丢失导致的识别不准确的问题。该方法包括：获取舰船目标的多模态数据，多模态数据包括光学数据、SAR数据和雷达辐射数据中的至少两种。采用预先训练的分类模型对多模态数据进行处理，以对舰船目标进行识别。其中，分类模型采用模态缺省重建的方式训练得到，分类模型分别对各模态数据进行特征提取，并对提取到的特征进行融合，以及分类模型包括多级分类器。本发明的基于异构数据共享语义的舰船目标细粒度识别方法，即便某一模态数据存在缺失，也可以识别得到舰船目标，提高了识别舰船目标的准确性。

主权项：1.一种基于异构数据共享语义的舰船目标细粒度识别方法，其特征在于，包括：获取舰船目标的多模态数据，所述多模态数据包括光学数据、SAR数据和雷达辐射数据中的至少两种；采用预先训练的分类模型对所述多模态数据进行处理，以对所述舰船目标进行识别；其中，所述分类模型采用模态缺省重建的方式训练得到，所述分类模型分别对各模态数据进行特征提取，并对提取到的特征进行融合，以及所述分类模型包括多级分类器；所述分类模型包括多个数据处理支路，所述采用预先训练的分类模型对所述多模态数据进行处理，以对所述舰船目标进行识别包括：采用至少一个第一数据支路对所述光学数据进行特征提取，得到表观特征；采用第二数据支路对所述SAR数据进行特征提取，得到散射特征；采用第三数据支路对所述雷达辐射数据进行特征提取，得到频谱特征；对所述表观特征、所述散射特征和所述频谱特征进行融合，得到统一特征表示；以及采用所述多级分类器对所述统一特征表示进行分类，以对所述舰船目标进行识别；和或所述采用预先训练的分类模型对所述多模态数据进行处理，以对所述舰船目标进行识别包括：对所述多模态数据的特征图进行网格化处理，得到多个特征网格；在所述多模态数据具有缺失的情况下，采用占位令牌对所述多个特征网格内的缺失数据进行填充，同一模态特征的至少部分所述特征网格内的占位令牌的初始值不相同；对填充缺失值后的多模态数据特征进行融合，得到统一特征表示；以及采用所述多级分类器对所述统一特征表示进行分类，以对所述舰船目标进行识别；其中，所述分类模型还包括模态对齐融合注意力模块，所述模态对齐融合注意力模块包括自注意层、交叉注意力层和多层感知层，所述对填充缺失值后的多模态数据特征进行融合，得到统一特征表示包括：采用所述自注意层对同一模态特征的不同网格令牌进行特征融合；采用所述交叉注意力层对不同模态特征进行两两交互融合；以及采用所述多层感知层对所有模态特征进行再学习，得到所述统一特征表示。

全文数据：

权利要求：

百度查询： 中国科学院空天信息创新研究院 基于异构数据共享语义的舰船目标细粒度识别方法及装置