买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海蜜度科技股份有限公司

摘要：本发明提供一种图像超分辨率重建方法、系统、存储介质及电子设备，所述方法包括以下步骤：获取图像超分辨率重建模型的训练数据集；所述训练数据集包括低分辨率图像和文本信息；基于所述训练数据集训练所述图像超分辨率重建模型，以基于训练好的图像超分辨率重建模型实现图像超分辨率重建。本发明的图像超分辨率重建方法、系统、存储介质及电子设备能够基于文本、语音和低分辨率图像实现图像的超分辨率重建，有效提升了图像重建效果。

主权项：1.一种图像超分辨率重建方法，其特征在于，所述方法包括以下步骤：获取图像超分辨率重建模型的训练数据集；所述训练数据集包括低分辨率图像和文本信息；基于所述训练数据集训练所述图像超分辨率重建模型，以基于训练好的图像超分辨率重建模型实现图像超分辨率重建；其中，基于所述训练数据集训练所述图像超分辨率重建模型包括以下步骤：基于所述文本信息生成文本嵌入向量和对应的语音嵌入向量；基于所述低分辨率图像生成图像嵌入向量；将所述语音嵌入向量作为V向量，所述文本嵌入向量作为K向量，所述图像嵌入向量作为Q向量，将所述V向量、所述K向量和所述Q向量输入噪声预测模型以获取所述图像嵌入向量的噪声；将所述图像嵌入向量与所述噪声进行元素相减，获取中间图像嵌入向量；将所述中间图像嵌入向量作为更新的Q向量，迭代预设次数来计算更新后的中间图像嵌入向量；对最后一次更新的中间图像嵌入向量进行解码，获取高分辨率图像；基于所述图像嵌入向量和各个中间图像嵌入向量计算总损失函数；基于所述总损失函数调整所述噪声预测模型，直至所述图像超分辨率重建模型收敛；获取图像超分辨率重建模型的训练数据集包括以下步骤：对高分辨率图像进行模糊处理，并生成模糊处理文本信息，所述模糊处理文本信息为轻度模糊、中度模糊或重度模糊；对模糊处理后的高分辨率图像进行缩放处理，并生成上采样文本信息，所述上采样文本信息为上采样；对缩放处理后的高分辨率图像进行噪声处理，并生成噪声文本信息，所述噪声文本信息为轻度噪声、中度噪声或重度噪声；对噪声处理后的高分辨率图像进行压缩处理，并生成轻度压缩文本信息，所述轻度压缩文本信息为轻度压缩；对压缩处理后的高分辨率图像进行缩放处理以获取低分辨率图像，并生成下采样文本信息，所述下采样文本信息为下采样；将所述模糊处理文本信息、上采样文本信息、噪声文本信息、轻度压缩文本信息和下采样文本信息合并为所述文本信息。

全文数据：

权利要求：

百度查询： 上海蜜度科技股份有限公司 图像超分辨率重建方法、系统、存储介质及电子设备