北京航空航天大学童超获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京航空航天大学申请的专利基于多模态融合的肺癌高危因素分类方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119206333B 。
龙图腾网通过国家知识产权局官网在2025-10-03发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411266662.3,技术领域涉及:G06V10/764;该发明授权基于多模态融合的肺癌高危因素分类方法是由童超;张钰琦;张啸谦;苏强设计研发完成,并于2024-09-10向国家知识产权局提交的专利申请。
本基于多模态融合的肺癌高危因素分类方法在说明书摘要公布了:本发明提出基于多模态融合的肺癌高危因素分类方法,是一种基于深度学习和多模态数据的早期肺癌高危因素预测方法,属于医学影像处理G06T及医疗诊断A61B领域。尤其与利用人工智能技术进行肺癌早期诊断相关。旨在通过深度学习模型分析多模态医疗数据,以识别和预测早期肺癌高危因素。实验证明多模态方法符合NCCN指南。可以协助术前计划和辅助治疗决策,最终有助于个性化的患者护理。
本发明授权基于多模态融合的肺癌高危因素分类方法在权利要求书中公布了:1.基于多模态融合的肺癌高危因素分类方法,其特征在于,包括以下步骤: 步骤1、构建训练数据集: 1对于收集的患者数据分成具有高危因素的肺癌患者和不具有高危因素的肺癌患者;其中高危因素的肺癌患者被定义为具有:楔形切除、低分化、脉管侵犯、胸膜侵犯中的一种或者多种,将这四个变量设置为四个标签,对于这四个标签进行0‑1二分类; 2筛选出清晰标记了病变位置的患者胸部CT图像;根据标记,为每位患者的CT图像以病变区为中心,选择16张连续的胸部CT图像;病历数据包括性别、年龄、吸烟史、饮酒史、肺部疾病史、恶性肿瘤史、家族史、肺结节大小、肺结节位置; 3实验室测试数据包括六个变量:白细胞WBC、粒细胞比率GR、癌胚抗原CEA、细胞角 蛋白19片段CY、神经元‑特异性烯醇化酶NSE和胃泌素释放肽前体Pro‑GRP; 4按8:2的比例将训练数据集随机分为训练集和测试集,并利用五折交叉验证用于训练和测试; 步骤2、设计训练多模态模型: 1多模态模型包括数据映射模块、特征提取模块与模态融合模块; 2数据映射模块用于是将病例数据、实验室测试数据分别进行归一化,然后拼合,作为文本编码器的输入,使用多项式插值来处理缺失的数据,以及将CT图像作为图像编码器的输入; 3特征提取模块,用于将病例数据,实验室测试数据通过文本编码器转变为特征向量,与CT图像数据通过图像编码器转变后的特征向量拼合,作为LADS模块的输入;其中,使用Swin Transformer V2模型的编码器部分作为过图像编码器的骨干网络; 4模态融合模块,使用中间融合策略,来融合特征空间中每种模态的高维特征,然后使用神经网络来学习和预测融合的特征,其中将特征提取模块输出的特征先输入LADS模块,再利用快速傅里叶变换,先在空间维度使用2DFFT,再使用滤波器进行Hadamard乘积,最后使用快速逆傅里叶变换,对特征进行处理;并对从LADS输入到快速逆傅里叶变换输出之间的整个过程进行堆叠处理; 5对于模态融合模块处理好的特征,进行深度特征压缩和线性回归,输出后对于要识别的四种类别分别进行多层感知器处理,并分别进行0‑1二分类,多层感知器包括MLP1、MLP2、MLP3和MLP4; 6用训练数据集训练多模态模型并保存最终训练好的模型参数,得到训练后的多模态模型,用于接收实际胸部CT图像、实验室测试数据和病历数据并输出分类结果; 其中,LADS利用了矩阵乘法和矩阵变换的联合律,将时间和空间复杂度降低到,具体方程可表示为: ; 其中, 为查询向量,代表想在其它元素中查找到的信息,为键向量,代表序列中每个元素的“身份”或者特征,用来与查询向量Q进行匹配,Q与K根据LADS模块的输入生成,将视为向量,然后聚类为类,得到由个聚类中心组成的矩阵, 表示矩阵的转置,表示当矩阵可逆时,矩阵的逆,当矩阵不可逆时,矩阵的伪逆。 2.如权利要求1所述方法,其特征在于,在空间维度上执行 2D FFT 将其变换到频域: ; 其中 是 2D FFT, 是一个复张量,表示的频谱,将经过LADS处理的特征设置为,这里,其中H为高度,W为宽度,D为深度; 然后,通过将 与可学习滤波器相乘来调整的频谱: ; 其中 是元素的乘积,也称为 Hadamard 乘积,滤波器 与 具有相同的维度,称为全局滤波器; 最后,使用IFFT将调制谱变换回空间域并更新特征: 。 3.一种信息处理设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的程序,其特征在于,所述处理器执行所述程序时实现根据权利要求1或2所述的方法。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京航空航天大学,其通讯地址为:100191 北京市海淀区学院路37号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。
请提出您的宝贵建议,有机会获取IP积分或其他奖励