买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东莞市东南部中心医院(东莞市东南部中医医疗服务中心)

摘要：本发明提供一种基于多模态影像融合的颈动脉斑块智能识别方法及系统，涉及图像识别技术领域，包括获取颈动脉超声影像和颈动脉CT影像，得到颈动脉斑块的多模态影像特征集；将多模态影像特征集输入至预先训练的斑块识别模型中，识别多模态颈动脉影像中是否存在斑块，若存在斑块，则将颈动脉斑块的多模态影像特征集输入至斑块类型分类模型，对斑块的类型进行分类；根据斑块识别模型的识别结果，得到斑块的发展预测结果，采用三维可视化技术，将斑块识别结果、类型分类结果、斑块位置、斑块体积、斑块的发展预测结果与原始的超声影像和CT影像进行融合显示，生成颈动脉斑块智能识别报告。

主权项：1.一种基于多模态影像融合的颈动脉斑块智能识别方法，其特征在于，包括：获取颈动脉超声影像和颈动脉CT影像，对颈动脉超声影像和颈动脉CT影像进行预处理，将预处理后的颈动脉超声影像和预处理后的颈动脉CT影像进行配准，得到配准后的多模态颈动脉影像，提取所述配准后的多模态颈动脉影像的影像特征，得到颈动脉斑块的多模态影像特征集；将多模态影像特征集输入至预先训练的斑块识别模型中，识别多模态颈动脉影像中是否存在斑块，若存在斑块，则将颈动脉斑块的多模态影像特征集输入至斑块类型分类模型，对斑块的类型进行分类；根据斑块识别模型的识别结果，结合多模态颈动脉影像确定斑块在颈动脉中的三维空间位置，并计算斑块的体积，根据斑块类分类模型的分类结果、斑块的三维空间位置和斑块的体积，确定斑块的危险等级，若斑块的危险等级大于预设的危险等级阈值，则将颈动脉斑块的多模态影像特征集输入至预设的斑块发展预测模型，预测斑块在未来不同时间的发展情况，得到斑块的发展预测结果，采用三维可视化技术，将斑块识别结果、类型分类结果、斑块位置、斑块体积、斑块的发展预测结果与原始的颈动脉超声影像和颈动脉CT影像进行融合显示，生成颈动脉斑块智能识别报告；将多模态影像特征集输入至预先训练的斑块识别模型中，识别多模态颈动脉影像中是否存在斑块，若存在斑块，则将颈动脉斑块的多模态影像特征集输入至斑块类型分类模型，对斑块的类型进行分类包括：对获取的颈动脉多模态影像数据进行预处理，采用结合主动轮廓模型和水平集方法的混合图像分割算法，自动从预处理后的多模态影像数据中提取感兴趣区域；从感兴趣区域中提取多种类型的影像特征，所述影像特征包括形态学特征、一阶纹理特征、二阶纹理特征和灰度统计特征，采用两阶段特征选择策略对提取的影像特征进行优化，在第一阶段，使用基于最大最小距离的特征排序方法初步筛选出第一特征子集，在第二阶段，采用基于相关系数的冗余特征排除方法对第一特征子集中的冗余信息进行剔除，得到目标特征子集；将目标特征子集输入至斑块识别模型，斑块识别模型包括级联分类器、卷积神经网络和支持向量机组成，通过级联分类器对输入的目标特征子集进行筛选，将其划分为多个候选区域并传递给卷积神经网络和支持向量机进行并行的特征学习和分类判别，同时，动态调整级联分类器、卷积神经网络和支持向量机的权重系数，通过加权融合策略得到最终的斑块识别结果，输出目标斑块区域；提取目标斑块区域的局部和全局多尺度特征描述符，构建多层次斑块类型表示，将多层次斑块类型表示输入至结合多分类支持向量机和深度置信网络的斑块类型分类模型中，通过多分类支持向量机对斑块类型的粗粒度分类，将斑块初步分为脂质斑块、纤维斑块和钙化斑块，同时利用深度置信网络，通过多个隐藏层学习斑块的判别性特征，并通过输出层进行多分类预测；将多个分类支持向量机的分类预测结果进行融合，得到最终的斑块类型分类结果；根据斑块识别模型的识别结果，结合多模态颈动脉影像确定斑块在颈动脉中的三维空间位置，并计算斑块的体积包括：将配准后的多模态颈动脉影像输入到预先训练的多尺度三维卷积神经网络中，通过多尺度的三维卷积层和池化层提取多模态影像的局部和全局特征，并利用门控注意力机制对不同尺度和模态的特征进行自适应加权融合，得到融合后的多尺度三维特征图；将融合后的多尺度三维特征图输入到预先训练的卷积神经网络中，通过卷积块和过渡层提取斑块区域的结构特征，并利用条件随机场对斑块区域进行像素级分类和边缘优化，得到分割的三维斑块掩模；将分割的三维斑块掩模与原始多模态颈动脉影像进行叠加，得到斑块区域的三维空间位置信息，并采用光线投射算法对斑块区域进行三维重建，得到斑块的三维模型，并对重建的斑块三维模型进行形态学分析和血流动力学模拟，计算出斑块的体积；将颈动脉斑块的多模态影像特征集输入至预设的斑块发展预测模型，预测斑块在未来不同时间的发展情况，得到斑块的发展预测结果包括：对颈动脉斑块的多模态影像特征集中的多模态影像特征进行预处理，提取标准化的影像组学特征；构建斑块领域医学知识图谱，所述斑块领域医学知识图谱包含解剖结构维度、生理功能维度和病理表现维度，通过知识推理和语义关联探索斑块影像组学特征与临床表型间的内在联系，同时构建斑块影像组学-临床关联知识库，所述斑块影像组学-临床关联知识库包含斑块形态特征、斑块密度特征、斑块纹理特征、斑块结构特征与临床预后的关联知识，从历史病例数据中挖掘斑块影像组学特征与临床预后的关联规律；将斑块影像组学特征与斑块领域医学知识图谱和斑块影像组学-临床关联知识库中的结构化知识表示进行融合，通过多视图特征学习方法从斑块影像组学特征和结构化知识表示中挖掘影像-知识互补信息，得到斑块影像-知识融合特征；构建斑块发展预测模型，将所述斑块影像-知识融合特征输入斑块发展预测模型，通过时间序列预测算法预测当前斑块在未来不同时间点的发展情况，得到斑块发展预测结果；对所述斑块发展预测结果进行可视化呈现，并根据斑块领域医学知识图谱对斑块发展预测结果进行语义解释，得到斑块发展预测结果。

全文数据：

权利要求：

百度查询： 东莞市东南部中心医院(东莞市东南部中医医疗服务中心) 基于多模态影像融合的颈动脉斑块智能识别方法及系统