买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州电子科技大学

摘要：本发明公开了一种基于数字乳腺影像和超声影像跨模态融合分类方法，该方法首先获取乳腺癌病人的超声影像和DBT影像数据，对病灶部分进行分割。其次将分割后的影像数据划分为训练集和测试集。然后对基于对比学习的生成对抗网络DCLGAN进行改进，将训练数据集中的DBT影像和超声影像分别输入EDCLGAN模型，生成伪超声影像和伪DBT影像。最后构建DBT影像和伪超声影像的影像对、超声影像和伪DBT影像的影像对，通过构建基于交叉注意力的多模态Transformer模型实现特征融合，再通过分类器进行分类。本发明获得更好的影像分类性能，帮助医生甚至人工智能做出更准确的判断。

主权项：1.一种基于数字乳腺影像和超声影像跨模态融合分类方法，其特征在于，包括以下步骤：步骤一：获取乳腺癌病人的超声影像和DBT影像数据，对标记出的病灶部分进行分割；步骤二：将分割后的影像数据划分为训练集和测试集，对训练集的样本数据做数据增强以及样本均衡处理；步骤三：对基于对比学习的生成对抗网络DCLGAN进行改进，得到EDCLGAN模型，将训练数据集中的DBT影像和超声影像分别输入EDCLGAN模型，生成伪超声影像和伪DBT影像；所述对基于对比学习的生成对抗网络DCLGAN进行改进具体为：在DCLGAN网络模型原有残差结构中加入通道注意力机制模块；步骤四：构建DBT影像和伪超声影像的影像对、超声影像和伪DBT影像的影像对，通过构建基于交叉注意力的多模态Transformer模型实现跨模态特征融合，再通过分类器进行分类，并由训练集完成训练；所述基于交叉注意力的多模态Transformer模型具体实现如下：S4.1：将DBT影像和伪超声影像分别通过两个由ResNet的卷积层作为编码器的分支进行特征提取，得到特征图F1和F2；S4.2：将特征图F1和F2分别展开成由特征向量组成的序列，在序列中加入位置编码和分类标签CLStoken，分别将其输入两个Transformer模块，分别得到特征图F1’和F2’；S4.3：在每隔N个DBT影像和M个伪超声影像的Transformer模块后加入交叉注意力模块，融合特征图F1’和F2’两个模态的特征，得到融合特征；所述交叉注意力模块的特征融合过程中，交叉注意力模块中的原始影像分支和生成图像分支的补丁嵌入分别使用表示，补丁嵌入为两个分支数据的局部特征，两个分支的分类标记为不同模态的全局特征，用和表示，包含以下步骤：S4.3.1：将原始影像分支的全局特征通过函数fd.投影得到与生成影像分支的全局特征相同通道数，记作再将原始影像分支投影后的全局特征和生成影像分支的补丁嵌入组合为交叉特征x′d： S4.3.2：将原始影像分支的全局特征进行投影得到询问向量q，生成影像分支的全局特征和生成影像的补丁嵌入组成的交叉特征分别投影得到键向量k和值向量v；交叉注意力操作公式定义为： k＝x′dWk,v＝x′dWv CA＝AvMCA＝ConcatCA1,…,CAh其中Wq,Wk,Wv∈RC×Ch为可训练投影矩阵，C为特征向量的通道数，h为多头注意力的数量；多头交叉注意力MCA通过将输入进行线性变换，然后分成多个头部进行注意力计算，最后将多个头部的注意力结果拼接并再次进行线性变换得到最终输出；S4.3.3：层归一化通过将每个样本的特征在通道维度上进行归一化，使得特征具有相似的分布，其输出特征表达式为： 其中LN·代表层归一化函数；S4.3.4：gd·代表fd·的逆投影函数，将与生成影像信息融合后的全局特征投影回原来的维度，特征逆投影和特征拼接操作公式定义为： 生成影像也遵循同样的过程；S4.4：经过Transformer模型和交叉注意力模块后，将融合特征输出到分类器得到分类结果；S4.5：对超声影像和伪DBT影像，进行上述步骤S4.1-S4.4的相同操作，输出分类结果；步骤五：通过测试集进行性能测试，验证有效性以及实用性。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 一种基于数字乳腺影像和超声影像跨模态融合分类方法