买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜合肥工业大学申请的专利基于多语种多模态表征学习的跨语种文本图像检索方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119513348B 。

龙图腾网通过国家知识产权局官网在2025-04-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411631502.4，技术领域涉及：G06F16/583；该发明授权基于多语种多模态表征学习的跨语种文本图像检索方法是由李永瑞;高骏杰;吴慕遥;洪日昌设计研发完成，并于2024-11-15向国家知识产权局提交的专利申请。

本基于多语种多模态表征学习的跨语种文本图像检索方法在说明书摘要公布了：本发明公开了一种基于多语种多模态表征学习的跨语种文本图像检索方法，包括：1获取英文文本图像及其对应的图像描述并构成多模态数据集合；2构建用于生成多语种文本图像的图像合成模型；3合成多语种的自然场景文本图像；4构建用于多语种自然场景文本图像表征学习的神经网络；5对网络执行预训练任务：以文本图像中文本区域的视觉信息为线索，跨语种地恢复描述句子中被掩码的文本；6对网络进行跨语种的描述语句与场景文本图像之间的匹配训练，得到训练后的多语种多模态表征模型；7利用表征模型对任意输入的多语种文本图像进行表征，进行文本图像的跨语种跨模态检索。本发明能为自然场景文本图像的跨语种跨模态检索提供支撑。

本发明授权基于多语种多模态表征学习的跨语种文本图像检索方法在权利要求书中公布了：1.一种基于多语种多模态表征学习的跨语种文本图像检索方法，其特征在于，包括以下步骤：步骤1：获取个英文文本图像及其对应的描述语句并构成多模态英文数据集合，其中，表示第i张英文文本图像，表示对应的描述语句，表示中英文文本图像的个数；步骤2：构建用于生成多语种文本图像的图像合成模型，包括：英文文本检测与识别模块，笔画擦除模块，文字翻译模块，笔画合成模块；所述英文文本检测与识别模块，包括：1个英文文本检测器、1个英文文本识别器；所述擦除模块，包括：个卷积操作构成的笔画擦除下采样器、个反卷积操作构成的笔画擦除上采样器；所述笔画合成模块，包括：1个文字渲染器、1个图像融合器、1个图像和谐化器；步骤3：根据所设定的非英语的目标语种，将输入合成模型中进行处理，并生成目标语种的真实感文本图像集合及其对应的目标语种描语句述集合，其中，表示第k个目标语种，表示目标语种的个数，表示与背景相同的，且包含第k个目标语种的真实感文本图像，表示对应的第k个目标语种的描述语句；步骤3.1：所述英文文本检测与识别模块对进行处理，得到英文文本区域裁剪图像和英文字符识别结果序列；步骤3.2：所述笔画擦除模块对进行处理，得到擦除笔画后的文本区域裁剪图像；步骤3.3：所述文字翻译模块对和进行处理，分别得到在目标语种上的描述语句翻译结果集合以及在目标语种上的字符翻译结果集合；其中，表示在第k个目标语种上的翻译结果，表示在第k个目标语种上的翻译结果；步骤3.4：所述笔画合成模块对、与进行处理，合成个目标语种上的真实感文本图像,…,,…,；其中，表示在第k个目标语种上的真实感文本图像；步骤3.5：将及其对应的中的元素一一组合后，得到多模态目标语种数据集合，并与合并为多模态多语种数据集合，其中，表示中的第个多模态样本，表示第个多模态样本中的文本图像，表示对应的描述语句，表示中的多模态样本个数；步骤4：构建用于多语种自然场景文本图像表征学习的神经网络，包括：多语种图文检测与识别模块，多语种视觉信息编码模块，多语种文本信息编码模块，多模态Transformer融合模块和线性分类器；步骤5：基于，以文本图像中文本区域的视觉信息为线索，跨语种地恢复描述句子中被掩码的文本，从而对进行预训练，得到预训练后的网络；步骤6：基于，对进行跨语种的描述语句与场景文本图像之间的匹配训练，得到训练后的跨语种文本图像检索模型；步骤7：获取多语种文本图像集及其查询语句，其中，表示中的第i个图像，表示中的图像个数；利用训练后的跨语种文本图像检索模型计算查询语句与中每张图像的匹配度，从而得到中与最匹配的文本图像。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人合肥工业大学，其通讯地址为：230009 安徽省合肥市包河区屯溪路193号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。