买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：清华大学深圳国际研究生院

摘要：本发明涉及遥感图像技术领域，提供一种舰船图像检索方法、装置、设备和存储介质，该方法包括：获取待检索的舰船图像；利用第一视觉模型，对待检索的舰船图像进行特征提取，得到待检索的舰船图像对应的目标特征向量；第一视觉模型为根据第二视觉模型和语言模型训练得到的；第一视觉模型和第二视觉模型的模型参数相同；利用第一视觉模型，对至少一个第一遥感图像分别进行特征提取，得到各个第一遥感图像对应的第一特征向量；根据各个第一遥感图像对应的第一特征向量以及目标特征向量，得到目标舰船图像。本发明中检索到的目标舰船图像与待检索的舰船图像的相似度更高，提高了细粒度舰船图像检索的准确度。

主权项：1.一种舰船图像检索方法，其特征在于，包括：获取待检索的舰船图像；利用第一视觉模型，对所述待检索的舰船图像进行特征提取，得到所述待检索的舰船图像对应的目标特征向量；所述第一视觉模型为根据第二视觉模型和语言模型训练得到的；所述第一视觉模型和所述第二视觉模型的模型参数相同；所述第一视觉模型包括图像嵌入层、至少一层特征提取层；所述利用第一视觉模型，对所述待检索的舰船图像进行特征提取，得到所述待检索的舰船图像对应的目标特征向量，包括：利用所述第一视觉模型的图像嵌入层，将所述待检索的舰船图像映射为所述待检索的舰船图像对应的目标特征矩阵；将所述目标特征矩阵和所述目标特征矩阵对应的位置矩阵相加，得到所述第一视觉模型中第一层特征提取层的输入特征矩阵；所述目标特征矩阵对应的位置矩阵为根据所述目标特征矩阵中的每个元素对应的位置信息得到的；针对任一层所述特征提取层，对所述特征提取层的输入特征矩阵进行特征提取，得到所述特征提取层的输出特征矩阵；其中，所述第一视觉模型中后一层特征提取层的输入特征矩阵为所述第一视觉模型中前一层特征提取层的输出特征矩阵；将所述第一视觉模型中最后一层特征提取层的输出特征矩阵中类标记向量对应的一维特征向量，确定为所述目标特征向量；利用所述第一视觉模型，对至少一个第一遥感图像分别进行特征提取，得到各个所述第一遥感图像对应的第一特征向量；根据各个所述第一遥感图像对应的第一特征向量以及所述目标特征向量，得到目标舰船图像；所述第一视觉模型通过如下步骤训练得到：从图像训练集中采集至少一个批次的样本数据；任一所述批次的样本数据包含至少一个预设类别中的第一图像、第二图像和各个所述预设类别对应的类标签；所述预设类别为舰船的类别；针对任一所述批次的样本数据，利用所述第一视觉模型，对所述第一图像进行特征提取，得到所述第一图像对应的第二特征向量；根据各个所述批次的样本数据中包含的第一图像对应的第二特征向量，得到第二特征矩阵；针对任一所述批次的样本数据，利用所述第二视觉模型，对所述第二图像进行特征提取，得到所述第二图像对应的第三特征向量；根据各个所述批次的样本数据中包含的第二图像对应的第三特征向量，得到第三特征矩阵；针对任一所述批次的样本数据，利用所述语言模型，对所述类标签进行特征提取，得到所述类标签对应的第四特征向量；根据各个所述批次的样本数据中包含的类标签对应的第四特征向量，得到第四特征矩阵；将所述第二特征矩阵和所述第三特征矩阵进行相乘，得到第一相似性矩阵；将所述第二特征矩阵和所述第四特征矩阵进行相乘，得到第二相似性矩阵；将所述第三特征矩阵和所述第四特征矩阵进行相乘，得到第三相似性矩阵；最小化所述第一相似性矩阵、所述第二相似性矩阵和所述第三相似性矩阵各自对应的行和列方向上的交叉熵损失；在各个所述交叉熵损失为最小值的情况下，将各个所述交叉熵损失为最小值对应的模型参数确定为所述第一视觉模型的目标模型参数。

全文数据：

权利要求：

百度查询： 清华大学深圳国际研究生院 舰船图像检索方法、装置、设备和存储介质