买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：福州大学

摘要：本发明提出基于向量量化与IDS融合建模自回归网络的字体生成方法，选定汉字集生成对应字形图片，用微调后的VQGAN模型对目标字形图片进行量化处理获得字形量化序列；并补全所选汉字集的IDS序列；利用IDS异变模块生成困难样本，并使用编码器为其生成相应的IDS特征与IDS对比特征；风格字形量化序列利用微调后的VQGAN模型转换为向量特征，并二次编码得到对应风格特征和风格对比特征；将目标字形量化序列、对应风格特征以及IDS特征一起输入自回归IDS预测网络进行训练；给最终模型输入风格字形量化序列以及目标字形的IDS序列，利用VQGAN解码器进行解码获得期望目标字形图片。本发明可以通过建模字形量化序列的方式来绕开内容风格解耦的限制。

主权项：1.基于向量量化与IDS融合建模自回归网络的字体生成方法，其特征在于，包括以下步骤：步骤S1：构建数据集并进行预处理；从网络搜集字体文件，选定汉字集生成对应字形图片，加载VQGAN模型的预训练权重进行微调，然后用微调后的VQGAN模型对字形图片进行量化处理，得到字形对应的量化序列；在模型的每次训练迭代中随机取一张字形图片作为生成目标，其所对应的量化序列即目标字形量化序列；再随机取少数张与所选字形图片风格一致的字形图片作为风格字形图片，其所对应的量化序列即风格字形量化序列；另一方面补全所选汉字集的IDS序列，使用13种表意文字描述字符与29种笔画来表示每个汉字，每个字形图片都有一个对应的IDS序列；步骤S2：利用IDS异变模块生成与步骤S1中的IDS序列接近的困难样本，并使用IDS编码器为其生成相应的IDS特征与IDS对比特征；风格字形量化序列则利用微调后的VQGAN模型还原为特征矩阵，并二次编码得到对应风格特征和风格对比特征；将步骤S1的目标字形量化序列、步骤S2的对应风格特征以及IDS特征一起输入自回归IDS预测网络进行训练，其中风格以交叉注意力的形式进行融合；步骤S3：风格对比特征根据所属字体计算监督对比损失；自回归IDS预测网络输出logits与目标字形量化序列计算交叉熵损失，对预测网络输出logits进行加权编码，在编码logits时使用冻结参数的量化编码器encvq，编码结果与IDS对比特征计算第一IDS对比损失；使用未冻结参数的量化编码器encvq对目标字形量化序列进行编码，其结果与IDS对比特征计算得到第二IDS对比损失；步骤S4：按照指定训练参数进行迭代训练，通过优化组合损失更新模型参数，综合验证集指标来筛选并记录最优模型权重；通过为训练好的模型输入风格字形量化序列以及目标字形的IDS，以自回归的方式预测目标字形的量化序列，然后利用VQGAN解码器对其进行解码，以得到期望的目标字形图片。

全文数据：

权利要求：

百度查询： 福州大学 基于向量量化与IDS融合建模自回归网络的字体生成方法