买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海大学

摘要：本发明公开基于隐含语义的船舶识别方法、装置、存储介质及产品，涉及小样本目标检测领域。获取图像数据集得到图像特征向量和文本特征向量；得到对应的隐含语义特征；得到去除差异后的图像特征向量；得到维度一致的隐含语义特征和图像特征向量；得到隐含语义特征的键和值，以及，图像特征向量的键和值；得到融合特征；构建船舶类原型特征；得到N个RoI边框特征；得到邻接矩阵；得到更新后的船舶类原型特征；根据所述更新后的船舶类原型特征，使用对比学习的方法优化所述预训练海上小样本创建目标识别模型，得到基于隐含语义的船舶识别模型，本发明提高了识别模型对船舶目标的识别准确度。

主权项：1.一种基于隐含语义的船舶识别方法，其特征在于，所述基于隐含语义的船舶识别方法包括：获取图像数据集；所述图像数据集包括：图像数据和文本数据；所述图像数据和文本数据一一对应，且文本数据用于描述图像数据；采用编码器对所述图像数据集进行编码，得到图像特征向量和文本特征向量；所述编码器包括：CLIP文本编码器和卷积神经网络；采用CLIP文本编码器提取与图像中船舶目标标签信息相对应的文本特征向量；再根据所述船舶目标标签信息构建任意一个船舶类别；再将所述船舶类别送入所述CLIP文本编码器，得到对应的隐含语义特征；采用KL散度对比得到所述图像特征向量和预训练海上小样本创建目标识别模型提取的第一图像特征分布之间的差异，并最小化所述差异，得到去除差异后的图像特征向量；根据所述隐含语义特征和所述去除差异后的图像特征向量，对所述隐含语义特征采用多层感知机进行维度变换，得到维度一致的隐含语义特征和图像特征向量；根据所述维度一致的隐含语义特征和图像特征向量，得到隐含语义特征的键和值，以及，图像特征向量的键和值；通过交叉注意力将所述隐含语义特征的键和值以及图像特征向量的键和值进行交互融合，得到融合特征；根据所述融合特征构建船舶类原型特征；对所述船舶类原型特征进行筛选，得到N个RoI边框特征；采用余弦相似度得到船舶类原型特征和N个RoI边框特征之间的第一相似度，以及，N个RoI边框特征之间的第二相似度；根据所述第一相似度和所述第二相似度，得到邻接矩阵；根据所述邻接矩阵，对所述船舶类原型特征进行动态更新，得到更新后的船舶类原型特征；根据所述更新后的船舶类原型特征，使用对比学习的方法优化所述预训练海上小样本创建目标识别模型，得到基于隐含语义的船舶识别模型；所述基于隐含语义的船舶识别模型用于识别船舶。

全文数据：

权利要求：

百度查询： 上海大学 基于隐含语义的船舶识别方法、装置、存储介质及产品