买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜成都卫士通信息产业股份有限公司申请的专利跨模态检索神经网络及训练方法、装置、电子设备、介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114239805B 。

龙图腾网通过国家知识产权局官网在2025-06-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111535772.1，技术领域涉及：G06N3/042；该发明授权跨模态检索神经网络及训练方法、装置、电子设备、介质是由彭滢;吴杰;祝蕾设计研发完成，并于2021-12-15向国家知识产权局提交的专利申请。

本跨模态检索神经网络及训练方法、装置、电子设备、介质在说明书摘要公布了：本公开提供了一种跨模态检索神经网络及训练方法、装置、设备、介质，文本特征提取网络结构包括：词向量嵌入层，用于将目标文本中的词语转换为对应的词向量；与词向量嵌入层连接的全连接层，用于将词向量的维度扩充到目标图像的维度；与全连接层连接的第一GCN网络层，用于提取词向量间的局部语义关系特征；与第一GCN网络层连接的第一biGRU，用于提取目标文本的全局语义特征；图像特征提取网络结构包括：图像检测网络，用于检测目标图像中的物体；与图像检测网络连接的第二GCN网络层，用于提取物体间的局部语义关系特征；与第二GCN网络层连接的第二biGRU，用于提取目标图像的全局语义特征。跨模态检索性能好。

本发明授权跨模态检索神经网络及训练方法、装置、电子设备、介质在权利要求书中公布了：1.一种跨模态检索神经网络训练方法，其特征在于，包括：获取训练样本集和验证样本集，所述训练样本集及所述验证样本集中均包括跨模态样本对，所述跨模态样本对包括图像及所述图像的文本描述；基于所述训练样本集对跨模态检索神经网络进行训练；将所述验证样本集中的验证图像输入所述跨模态检索神经网络；确定所述跨模态检索神经网络生成的与所述验证图像的图像特征匹配的第一类文本特征，及与所述图像特征不匹配的第二类文本特征；确定影响相同标签数据的类内聚合紧凑程度的第一参数、及影响不同标签数据的类间距离分散程度的第二参数；基于所述图像特征、所述第一类文本特征、所述第二类文本特征、所述第一参数、所述第二参数及余弦距离公式，确定所述跨模态检索神经网络的损失值，以基于所述损失值对所述跨模态检索神经网络进行训练；所述基于所述图像特征、所述第一类文本特征、所述第二类文本特征、所述第一参数、所述第二参数及余弦距离公式，确定所述跨模态检索神经网络的损失值，包括：通过损失函数运算公式，基于所述图像特征、所述第一类文本特征、所述第二类文本特征、所述第一参数、所述第二参数及余弦距离公式，确定所述跨模态检索神经网络的所述损失值；所述损失函数运算公式包括： 其中，Lcosine表示所述损失值；N表示所述验证样本集中所述跨模态样本对的目标数量；i表示所述跨模态样本对的标号；γ表示所述第一参数、m表示所述第二参数；表示第i个所述跨模态样本中的所述图像特征，表示第i个所述跨模态样本中的所述第一类文本特征；表示第i个所述跨模态样本中的所述第二类文本特征；M表示第i个所述跨模态样本中所述文本描述对应的文本特征的数量值；其中，所述跨模态检索神经网络包括文本特征提取网络结构、图像特征提取网络结构；所述文本特征提取网络结构包括：词向量嵌入层，用于将目标文本中的词语转换为对应的词向量；与所述词向量嵌入层连接的全连接层，用于将所述词向量的维度扩充到目标图像的维度；与所述全连接层连接的第一GCN网络层，用于提取所述词向量间的局部语义关系特征；与所述第一GCN网络层连接的第一biGRU，用于基于所述局部语义关系特征提取所述目标文本的全局语义特征；所述图像特征提取网络结构包括：图像检测网络，用于检测所述目标图像中的物体；与所述图像检测网络连接的第二GCN网络层，用于提取所述物体间的局部语义关系特征；与所述第二GCN网络层连接的第二biGRU，用于基于所述局部语义关系特征提取所述目标图像的全局语义特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人成都卫士通信息产业股份有限公司，其通讯地址为：610041 四川省成都市高新区云华路333号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。