四川大学何小海获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉四川大学申请的专利一种基于对应特征融合的医学视觉问答方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116756361B 。
龙图腾网通过国家知识产权局官网在2026-04-17发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210208221.2,技术领域涉及:G06F16/583;该发明授权一种基于对应特征融合的医学视觉问答方法是由何小海;朱晗;卿粼波;王美玲;陈洪刚;任超;滕奇志设计研发完成,并于2022-03-03向国家知识产权局提交的专利申请。
本一种基于对应特征融合的医学视觉问答方法在说明书摘要公布了:本发明公开一种基于对应特征融合的医学视觉问答方法研究。模型可大致分为类别分类、视觉特征提取、语义特征提取、特征融合以及答案预测五个模块。考虑到特定类型医学影像与对应问题之间的联系,本发明通过类别分类器对输入数据进行分类后提取特定的特征表示进行融合,同时结合本发明提出的语义注意力模块进行答案预测,实现了端到端的医学视觉问答流程。近年来,医疗资源日益紧张,医疗赋能的呼声与日俱增,如何帮助病人高效准确地了解自身病情,协助医生进行疾病诊断,提高当前就医效率和质量变得至关重要。本文结合医学背景的特点和需求,对医学视觉问答方法开展研究,将在智能问诊,辅助临床诊断方面有广阔的应用前景。
本发明授权一种基于对应特征融合的医学视觉问答方法在权利要求书中公布了:1.一种基于对应特征融合的医学视觉问答方法,其特征在于包括以下步骤: 步骤一:对输入的医学影像以及问题进行预处理,设置图像尺寸以及通道数为3×224×224,然后设置每个问题的最大长度为12,并对长度不足12的问题进行零填充,保证在之后的模型运算中张量维度相同,同时设Batch大小为B,在一个Batch中输入图像为输入问题为 步骤二:首先通过两个卷积池化层提取输入影像的视觉特征,接着将提取到的视觉特征送入一个三层的全连接层进行非线性变换,最终分类器输出类别预测分数Sk,其中k∈{腹部,脑部,胸部},表示三个类别各自的得分,同时得到了分类后的医学影像和问题 步骤三:将分类后的影像Ik分别送入在对应脑部MRI,胸部X-Ray,腹部CT的外部影像数据库中预训练好的ResNet-34中,来针对性的提取不同类型影像中包含的特定信息,输出对应脑部,胸部,腹部的视觉特征表示: 步骤四:选择使用200维的BioWordVec对分类后的问题进行词嵌入,得到接着将其送入1024维的长短期记忆网络LSTM来提取文本特征,获取各类问题的初步文本特征表示 步骤五:用一个最大池化层和一个均值池化层初步获取不同类别问题Qk的全局特征接着把通过均值池化得到的全局特征fk送入一个三层的全连接层进行非线性变换,其中采用ReLU作为激活函数,之后再通过一个均值池化层将问题全局特征压缩为同时参考残差连接,将最初通过最大池化层得到的全局特征Fk和fk”拼接为接着使用一个2×1×1的卷积核对Fk'进行融合压缩后通过Sigmoid层得到了整个问题的语义注意力权重最终再用ak乘上各类问题的文本特征表示Qk得到各类问题最终的语义特征表示 步骤六:将视觉特征Vk和与之对应的语义特征进行融合后,其中k∈{腹部,脑部,胸部},送入分类器中进行答案预测,采用交叉损失函数来计算模型答案预测的损失接着将三类损失{腹部,脑部,胸部}进行求和,然后计算设计的类型分类器的分类损失Lcls,最终将前面计算得到的损失结合起来,获得了模型最终的损失Lfinal用于训练模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人四川大学,其通讯地址为:610065 四川省成都市武侯区一环路南一段24号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励