买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国人民解放军海军军医大学第一附属医院

摘要：本发明公开了通过多模态图像辅助胰腺病变诊断的深度学习系统，涉及疾病诊断技术领域，该系统中的模型将成对的CT和EUS图片作为输入，采用Transformer结构作为网络的主干，网络输出相应的CT和EUS图像中的病灶分割结果，并预测该病灶的类型，该通过多模态图像辅助胰腺病变诊断的深度学习系统，通过构建基于Transformer架构的MMED‑Net模型，该模型将患者胰腺的EUS和CT多模态图像作为输入，经过系列的编解码网络后，既可以准确的将病灶从图像中分割出来，又可以预测该图像组合的疾病类型，可以在不穿刺或者少穿刺的条件下，就能准确的预测胰腺疾病。

主权项：1.通过多模态图像辅助胰腺病变诊断的深度学习系统，其特征在于：该系统中的MMED-Net模型将成对的CT和EUS图片作为输入，采用Transformer结构作为网络的主干，网络输出相应的CT和EUS图像中的病灶分割结果，并预测该病灶的类型；所述Transformer的输入序列的长度L设定为Transformer的输出序列为目标特征图xf，为了获得长的输入序列，输入图像x∈RH×W×3,分成个图像块，通过使用二维卷积操作f:p→e∈RC，将每个矢量图像块p进一步映射到一个潜在的表征空间，维度为C，这样一个图像x的一维嵌入序列已经被生成，其中二维卷积的核大小为16×16，步长为16，可以根据实际图像块的大小调整；为了编码图像块的空间信息，每个位置i学习一个特定的嵌入pi，并将其添加到ei中，形成最终的序列输入E＝{e1+p1,e2+p2,....,eL+pL}，图像块的空间信息在Transformer中被保留下来，经过图像序列化操作后，输入网络的EUS和CT图像都将被变换为相应的特征向量；所述本系统中的模型通过多个Transformer层提取特征后，模型产生了EUS和CT图像所对应的特征向量F0和F1，基于F0和F1，构建用于CTEUS病灶分割的解码器和用于疾病预测的分类器，因解码器的目标是在原始二维图像空间H×W中产生分割结果，因此需要重新构造特征F0和F1，即从大小为的二维形状到标准的三维特征图之后通过相应的变换策略将特征图恢复为与原图同等大小的分割掩码，本模型采用三种上采样策略，三种上采样策略分别为渐进式上采样策略PUP，多尺度特征融合策略MSFF和U型上采样策略，在MMED-Net中使用MSFF方法；所述多尺度特征融合策略MSFF：本模型是基于Transformer结构的，共有24层结构，并且每一层的输出特征尺度都相同，为分别提取了编码器中的第6，12，18和24层的特征，即Z6，Z12，Z18，Z24，接着调整为3维的形式后，分别使用3组核大小为1×1，3×3和3×3的卷积层进行计算，其中特征通道在第一层和第三层分别减半，并在第三层后通过双线性运算将空间尺寸提升4倍，为了加强不同数据流之间的相互作用，在第一层之后通过相应元素相加的方法引入了自上而下的聚合设计，当获得四组特征后，再将它们按照通道方向进行拼接，并使用卷积和双线性4倍上采样恢复至原图像尺寸，由于分割任务只用来识别病灶，所以输出的通道数为2；MMED-Net将特征F0和F1，分别按照通道方向经过一个全局均值池化AP·后得到两个一维的特征向量，接着将它们彼此相加，再通过一个线性层FC·将其映射为类别数大小的特征CΔ，过程如下：CΔ＝FCAPF0+F1；4该输出结果通过一个Softmax函数可以获取各类别的预测概率，其计算过程如下：其中，exp表示自然指数函数，CΔi是向量CΔ的第i个元素；分母中的求和部分是对所有元素CΔj求指数后的和，对于任意元素CΔi，经过Softmax函数转换后的值是一个0,1之间的实数，并且所有元素经过Softmax函数转换后的值的总和为1，因此看作是一个概率分布。

全文数据：

权利要求：

百度查询： 中国人民解放军海军军医大学第一附属医院 通过多模态图像辅助胰腺病变诊断的深度学习系统