买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:本发明属于特征融合技术领域,公开了多模态医学数据渐进融合的方法及系统。本发明通过渐进融合方法,基于跨层次注意力机制实现层次融合特征向量交互,利用残差网络缓解因层数增加导致浅层信息容易丢失的问题,以渐进交互的方式使得渐进融合特征所包含的层次信息最大化。本发明提供了动态图学习方法,通过图自适应学习,捕捉特征的非线性相互作用关系,降低相似矩阵的异质性,提高了信息传递的准确性;该自适应学习过程中针对每个患者的特征进行阈值预测,以对相似矩阵进行剪枝,使得剪枝后的相似矩阵更准确。
主权项:1.多模态医学数据渐进融合的方法,其特征在于,包含:提取患者的多模态医学数据的N层特征,N为≥2的整数,所述多模态医学数据包含影像数据、结构化电子病历数据和文本数据,提取得到的N层特征包含N层影像特征、N层结构化电子病历特征和N层文本特征;将每层特征中所有模态特征进行融合得到N个层次融合特征;将每层的层次融合特征分别对齐;基于跨层注意力机制融合第一层和第二层各自对齐的层次融合特征,得到第一渐进融合特征后,再基于跨层注意力机制将第一渐进融合特征和第三层对齐的层次融合特征进行融合,得到第二渐进融合特征,以此类推,重复此基于跨层注意力机制融合步骤,直至完成N层对齐的层次融合特征的融合。
全文数据:
权利要求:
百度查询: 电子科技大学 多模态医学数据渐进融合的方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。