买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京字跳网络技术有限公司申请的专利跨模态对齐方法、装置、电子设备和存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116580391B 。

龙图腾网通过国家知识产权局官网在2026-03-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310587195.3，技术领域涉及：G06V20/62；该发明授权跨模态对齐方法、装置、电子设备和存储介质是由柳儒杨;黄靖佳;何栋梁;吴兴龙设计研发完成，并于2023-05-23向国家知识产权局提交的专利申请。

本跨模态对齐方法、装置、电子设备和存储介质在说明书摘要公布了：本公开提供一种跨模态对齐方法、跨模态对齐装置、电子设备和计算机可读存储介质。方法包括：获取第一模态信息和第二模态信息，并将第一模态信息分解成多个第一元素，将第二模态信息分解成多个第二元素；根据第二模态信息的第二特征信息，计算每个第一元素与第二模态信息的第一相似度，并根据第一模态信息的第一特征信息，计算每个第二元素与第一模态信息的第二相似度；根据多个第一元素的多个第一相似度和多个第二元素的多个第二相似度，计算第一和第二模态信息的整体相似度；根据整体相似度，对齐第一和第二模态信息。根据本公开，能够强化两种模态信息之间的对应关系，减小不相关的噪声部分的影响，实现更好的后续模型训练效果。

本发明授权跨模态对齐方法、装置、电子设备和存储介质在权利要求书中公布了：1.一种跨模态对齐方法，包括： 获取第一模态信息和第二模态信息，并将所述第一模态信息分解成多个第一元素，将所述第二模态信息分解成多个第二元素；其中，所述第一模态信息和所述第二模态信息为不同模态的信息，且分别选自文本、图像、视频、音频中的至少一种； 根据所述第二模态信息的第二特征向量矩阵，计算每个所述第一元素与所述第二模态信息的第一相似度，并根据所述第一模态信息的第一特征向量矩阵，计算每个所述第二元素与所述第一模态信息的第二相似度，包括：计算每个第一元素与每个第二元素之间的相似度，得到交叉相似度矩阵；将所述交叉相似度矩阵每行及每列中的多个相似度数值转化成权重系数，得到第一权重系数矩阵及第二权重系数矩阵；采用所述第一权重系数矩阵对所述第二特征向量矩阵进行加权计算，得到第二加权特征向量矩阵；采用所述第二权重系数矩阵对所述第一特征向量矩阵进行加权计算，得到第一加权特征向量矩阵；计算所述第二加权特征向量矩阵中的行向量与所述第一特征向量矩阵中对应的行向量之间的相似度，得到每个所述第一元素与所述第二模态信息的第一相似度；计算所述第一加权特征向量矩阵中的行向量与所述第二特征向量矩阵中对应的行向量之间的相似度，得到每个所述第二元素与所述第一模态信息的第二相似度； 根据所述多个第一元素的多个第一相似度和所述多个第二元素的多个第二相似度，计算所述第一模态信息和所述第二模态信息的整体相似度；其中，计算所述第一模态信息和所述第二模态信息的整体相似度，包括：根据多个第一相似度对第一特征向量矩阵进行加权聚合得到第一全局特征向量；根据多个第二相似度对第二特征向量矩阵进行加权聚合得到第二全局特征向量；根据所述第一全局特征向量和所述第二全局特征向量计算整体相似度；根据所述整体相似度，对齐所述第一模态信息和所述第二模态信息。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京字跳网络技术有限公司，其通讯地址为：100190 北京市海淀区紫金数码园4号楼2层0207；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。