恭喜安徽大学孙登第获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜安徽大学申请的专利多模态特征融合Mamba用于医学报告自动生成方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119479969B 。
龙图腾网通过国家知识产权局官网在2025-03-28发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510013977.5,技术领域涉及:G16H10/60;该发明授权多模态特征融合Mamba用于医学报告自动生成方法是由孙登第;沐超凡;赵海峰设计研发完成,并于2025-01-06向国家知识产权局提交的专利申请。
本多模态特征融合Mamba用于医学报告自动生成方法在说明书摘要公布了:本发明公开一种多模态特征融合Mamba用于医学报告自动生成方法,将原始医学图像输入视觉特征提取模块输出视觉特征;将原始医学报告输入文本特征提取模块,输出文本特征;将视觉特征和文本特征分别输入SSM‑Attention视觉文本特征整合模块,输出新的视觉特征和文本特征;新视觉特征输入Transformer编码器,增强视觉特征提取高级视觉特征;将文本特征和增强后的高级视觉特征输入多模态融合Mamba模块输出融合特征,将融合特征输入Transformer解码器自动生成医学报告。本发明的SSM‑Attention、MultimodalMamba可独立发展和改进,同时也方便将新开发的技术模块集成进来,并不仅限与医学影像与文本特征的融合,他适用于任何的多模态的特征进行融合。
本发明授权多模态特征融合Mamba用于医学报告自动生成方法在权利要求书中公布了:1.一种多模态特征融合Mamba用于医学报告自动生成方法,其特征在于,将医学报告和医学图像输入医学报告自动生成网络,包括以下步骤:步骤1、将原始医学图像I输入基于ResNet101的视觉特征提取模块,输出视觉特征;步骤2、将原始医学报告输入基于BERT模型的文本特征提取模块,输出文本特征;步骤3、将步骤1所得视觉特征和步骤2所得文本特征分别输入SSM-Attention视觉文本特征整合模块;SSM-Attention视觉文本特征整合模块分别对视觉特征和文本特征进行单独处理,每类特征处理过程都如下:步骤3.1、进行线性变换,得到两个新序列和;步骤3.2、将新序列依次经归一化层、线性层、激活函数SiLu、卷积层、状态空间模块SSM以及归一化层处理;同时,将新序列依次经归一化层、卷积层、激活函数ReLU、自注意力机制和归一化层处理;步骤3.3、将步骤3.2处理后所得两个序列相乘生成门控特征,通过线性变换并与原始输入的视觉特征或文本特征相加,输出新的视觉特征和新的文本特征;步骤4、将步骤3所得视觉特征输入Transformer编码器,通过Transformer编码器增强视觉特征;步骤5、将步骤3得到的文本特征为和经Transformer编码器增强后的视觉特征一起输入多模态融合Mamba模块,多模态融合Mamba模块中,文本特征和视觉特征进入第一层多模Mamba网络后,输出;与文本特征进入第二层多模Mamba网络后,输出新的;新的和文本特征进入第三层多模Mamba网络,输出融合特征;上述多模态融合Mamba模块包括三层相同结构的多模态Mamba网络,每一层多模Mamba网络的处理方法为:文本特征依次经归一化层、卷积层、状态空间模块SSM处理,同时,经Transformer编码器增强后的视觉特征执行步骤3.1至步骤3.2得到两个序列,所得两个序列再与处理后的文本特征相加得到新的视觉特征;这一层所得新的视觉特征和新的文本特征一起送入下一层网络结构;表达式如下:对于视觉特征处理如下: ; ; 是通过乘以作为门控因子,生成门控后的特征,形成输出序列;;对于文本特征处理如下: ; ; ;最终,融合特征表达如下: ;步骤6、将融合特征输入Transformer解码器自动生成医学报告。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人安徽大学,其通讯地址为:230601 安徽省合肥市蜀山区经开区九龙路111号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。