买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江大学

摘要：本发明公开了一种基于文本匹配和孪生网络的多模态敦煌残卷缀合方法，具体过程为：使用二值化和闭合操作，提取待缀合的原始敦煌残卷图像蒙版和轮廓，利用训练好的自监督孪生网络进行原始敦煌残卷图像的配对；利用基于文本的定位方法对原始敦煌残卷图像进行光学字符识别，提取文本内容以计算原始敦煌残卷图像的候选位置；使用多模态流程，结合文本匹配和轮廓匹配提高匹配的准确率；使用图搜索的思想，对原始敦煌残卷图像进行全局拼合。本发明能够应用在敦煌残卷缀合场景，以及古代语言学和社会研究领域，为古代语言学和社会研究领域研究提高效率。

主权项：1.一种基于文本匹配和孪生网络的多模态敦煌残卷缀合方法，其特征在于，包括以下步骤：S1.对每个待缀合的原始敦煌残卷图像进行数据增强，对应得到每个待缀合的原始敦煌残卷图像的蒙版；S2.获取一个经过训练的孪生网络，在所有蒙版中每次不重复的选取蒙版对构成蒙版对，将选取的蒙版对输入到所述孪生网络中，得到输入蒙版对的匹配程度分数和代表原始敦煌残卷图像相对位置的平面仿射变换矩阵；S3.利用基于文本的定位方法获取每个待缀合的原始敦煌残卷图像在敦煌卷轴中的候选相对位置，并根据所述候选相对位置生成文本候选匹配集；S4.利用所述文本候选匹配集对所有蒙版对进行筛选，将不在所述文本候选匹配集中的蒙版对进行剔除；S5.将筛选后的当前蒙版对匹配程度分数与预设的阈值分数进行比较：若所述当前蒙版对匹配程度分数大于等于所述阈值分数时，由所述当前蒙版对构成有向图数据，并将当前蒙版对进行连接作为有向图数据的一条边，每条所述边上存在一个平面仿射变换矩阵；若所述当前蒙版对匹配程度分数小于所述阈值分数时，则不将当前蒙版对进行连接；S6.使用贪心算法在所述有向图数据上寻找环，并判断当前环是否满足拼接条件：若满足，则将当前环上所有蒙版对应的原始敦煌残卷图像进行拼接，构成一个新的敦煌残卷图像，并更新所述有向图数据，并在新的有向图数据上重新寻找环；若不满足，则回溯，直到最终的有向图数据中只存在一个顶点，完成多模态敦煌残卷缀合；所述拼接条件为当前环上的所有平面仿射变换矩阵连乘积为单位矩阵，且满足当前环上所有蒙版对应的原始敦煌残卷图像之间不应彼此层叠。

全文数据：

权利要求：

百度查询： 浙江大学 基于文本匹配和孪生网络的多模态敦煌残卷缀合方法