买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江大学

摘要：本发明公开了一种基于配准增强和最优传输GAN的DSA图像生成方法，包括：1收集DSA图像数据集；2构建生成器；输入图像进入生成器后依次经过尺度分解、特征提取线性变换、自适应注意力机制、共享空间表示、整合多尺度表示后通过前馈神经网络输出生成图像；3构建判别器；计算生成图像与真实图像之间的光流图，将生成图像根据光流图进行空间扭曲，将扭曲后生成的图像和真实图像分别输入到深度卷积网络进行特征提取；采用深度相关矩阵比较的方法来度量两个提取特征之间的相似性；4构建损失函数，对生成器和判别器进行训练；5将待剪影的DSA图像输入训练好的生成器，生成剪影后的图像。利用本发明，可以生成更高质量的图像。

主权项：1.一种基于配准增强和最优传输GAN的DSA图像生成方法，其特征在于，包括：1收集剪影前、后的DSA图像数据集；2构建生成器；输入图像进入生成器后经过不同大小的卷积核进行卷积操作，得到一系列包含全局信息的特征图；将特征图切割成一系列的小块并通过线性变换得到一系列特征向量vi；将特征向量vi输入自适应注意力机制后得到每个小块i对应的注意力结果Zi，将这些结果Zi投影到一个共享表示空间后进行加权求和，得到整合所有尺度信息的表示Z，最后再通过前馈神经网络得到生成器的输出生成的图像G；3构建判别器；计算生成图像G与真实图像R之间的光流图FGR，将生成图像G根据光流图FGR进行空间扭曲，将扭曲后生成的图像Gwarp和真实图像分别输入到一个深度卷积网络进行特征提取；采用最优传输度量函数来度量两个提取特征之间的相似性，具体为：首先计算每个特征表示的相关矩阵，公式如下：CMGwarp＝hGwarp*hGwarpTCMR＝hR*hRT式中，将深度卷积网络记作h，对齐后的生成图像的特征表示hGwarp和真实图像的特征表示hR；将相关矩阵CMGwarp和CMR视为概率分布，采用最优传输度量函数OT来度量这两个分布之间的差异，计算公式如下：OTCMGwarp,CMR＝minTr＜Tr,Mc式中，.,.代表矩阵的内积，Tr是一个运输矩阵，满足所有元素非负且每行和每列都为1，Mc是成本矩阵，代表了将对齐后的生成图像Gwarp的特征转移到真实图像R的特征所需要的成本；4构建损失函数，利用DSA图像数据集对生成器和判别器进行训练；具体的，损失函数采用最优传输度量函数与均方误差损失、感知损失和结构相似性损失相结合，其中最优传输度量函数OT用于评估生成图像的得分SG，计算公式如下：SG＝OTCMGwarp,CMR最优传输度量函数OT中，通过Sinkhorn迭代算法迭代地规范化Tr的行和列来求解Tr，直到达到一个稳定状态；5将待剪影的DSA图像输入训练好的生成器，生成剪影后的图像。

全文数据：

权利要求：

百度查询： 浙江大学 一种基于配准增强和最优传输GAN的DSA图像生成方法