哈尔滨工业大学李向宇获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉哈尔滨工业大学申请的专利一种基于医学图像和疾病属性描述对的诊断报告生成系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN118447994B 。
龙图腾网通过国家知识产权局官网在2025-05-16发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202410654310.9,技术领域涉及:G16H15/00;该发明授权一种基于医学图像和疾病属性描述对的诊断报告生成系统是由李向宇;梁鑫杰;董庆;骆功宁;王玮;左百福;李钦策;袁永峰设计研发完成,并于2024-05-24向国家知识产权局提交的专利申请。
本一种基于医学图像和疾病属性描述对的诊断报告生成系统在说明书摘要公布了:一种基于医学图像和疾病属性描述对的诊断报告生成系统,它属于医学图像处理领域。本发明解决了通过医务人员对图像进行分析来获得诊断报告的方式存在准确率和效率低的问题。本发明采用先进的大语言模型对诊断报告进行深度疾病信息提取,并通过注入医学领域的知识,进一步增强模型对不同疾病类别视觉属性的理解能力,将这些知识成功应用于未知类别的学习中。通过构建描述图像与疾病之间相关性的语义相似度矩阵,以实现更精准的对比学习,作为一种高效且精确的医学视觉‑语言预训练方法,本发明通过利用自然配对的医学图像和诊断报告数据,显著地提升了医学图像分析任务的效率和准确性。本发明方法可以应用于医学图像诊断报告生成。
本发明授权一种基于医学图像和疾病属性描述对的诊断报告生成系统在权利要求书中公布了:1.一种基于医学图像和疾病属性描述对的诊断报告生成系统,其特征在于,所述系统包括数据集获取模块、信息提取器、图像知识注入器、文本编码器、图像编码器和诊断报告生成模块;所述数据集获取模块用于获取由医学图像和对应的诊断报告组成的数据集;所述信息提取器用于根据提示从数据集的每份诊断报告中分别识别和提取出符合预设格式的疾病信息Tf;所述图像知识注入器用于提取数据集中的每张医学图像的图像属性描述,即分别获得每份诊断报告中的疾病信息所对应的图像属性描述Te;利用数据集中每个医学图像-诊断报告样本对的疾病信息和图像属性描述,以及各张医学图像对文本编码器和图像编码器进行联合训练;其中:文本编码器用于对数据集中的每个医学图像-诊断报告样本对的疾病信息和图像属性描述进行编码,得到每个医学图像-诊断报告样本对的文本特征;图像编码器用于将数据集中的每张医学图像编码为图像特征;所述文本编码器和图像编码器进行联合训练,联合训练的具体过程为:将各个医学图像-诊断报告样本对的疾病信息和图像属性描述输入文本编码器,得到每个医学图像-诊断报告样本对的文本特征,根据各个医学图像-诊断报告样本对的文本特征计算语义相似度矩阵s;所述语义相似度矩阵s的计算方法为:步骤A1、对于包括N张医学图像以及N张医学图像对应的诊断报告的数据集,将第t个诊断报告包含的疾病信息Tf个数记为ct,t=1,2,...,N,将N个诊断报告包含的疾病信息Tf总个数记为M,即且每个疾病信息Tf和对应的图像属性描述组成一个结构化标签,即共获得M个结构化标签;步骤A2、对于第t张医学图像对应的任意一个结构化标签,分别计算该结构化标签与M个结构化标签中的每个结构化标签的相似性;同理,对第t张医学图像对应的每个结构化标签分别进行处理后,得到第t张医学图像对应的相似性子矩阵sub_matrix,且相似性子矩阵sub_matrix的维度为ct×M;sub_matrixi,j=cosEsimli,Esimlj其中,li表示第t张医学图像对应的结构化标签中的第i个结构化标签,i=1,2,3,...,ct,lj表示全部结构化标签中的第j个结构化标签,j=1,2,3,...,M,Esim·表示将文本转化为特征向量,cosEsimli,Esimlj表示计算特征向量Esimli与特征向量Esimlj的内积,cosEsimli,Esimlj即为相似性子矩阵sub_matrix中第i行第j列的元素;步骤A3、选取步骤A2获得的相似性子矩阵的每一列中的最大值,得到1×M大小的相似度向量:sub_matrix*=maxpoolsub_matrix其中,maxpool为最大值池化;步骤A4、对每张医学图像均执行步骤A2和步骤A3后,利用各张医学图像对应的相似度向量组成一个维度为N×M的语义相似度矩阵s;将数据集中的每张医学图像分别输入图像编码器,得到每张医学图像的图像特征,根据各个医学图像-诊断报告样本对的文本特征以及图像编码器生成的图像特征计算图像与文本的相似性矩阵y;所述图像与文本的相似性矩阵y的计算方法为:步骤B1、计算Ii和Lj:Ii=fimgEimgximg,iLj=ftxtEtxtxtxt,j其中,ximg,i表示输入图像编码器的第i张医学图像,Eimg代表图像编码器,xtxt,j表示输入文本编码器的第j个结构化标签,Etxt代表文本编码器,fimg和ftxt被用于将经过图像编码器编码得到的图像特征与经过文本编码器编码得到的文本特征映射到相同的编码空间中,Ii表示第i张医学图像对应的映射后图像特征,Lj表示第j个结构化标签对应的映射后文本特征;步骤B2、计算图像与文本相似性矩阵: 其中,上角标T代表转置,||·||表示2范数,yi,j是图像与文本相似性矩阵中第i行第j列的元素,i=1,2,3,...,N;计算语义相似度矩阵s与相似性矩阵y之间的交叉熵损失CELoss和均方损失MSELoss,再根据交叉熵损失CELoss和均方损失MSELoss计算总损失函数;所述交叉熵损失CELoss为: 其中,si,j表示语义相似度矩阵s中第i行第j列的元素;所述均方损失MSELoss为: 根据交叉熵损失CELoss和均方损失MSELoss计算总损失函数,具体为: 其中,是总损失函数;直至总损失函数收敛时停止训练,获得训练好的文本编码器和图像编码器;所述诊断报告生成模块将待生成诊断报告的医学图像输入训练好的图像编码器,从图像属性描述存储库中筛选出与待生成诊断报告医学图像的图像特征最相似的图像属性描述,根据筛选出的图像属性描述对应的疾病信息生成诊断报告。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人哈尔滨工业大学,其通讯地址为:150001 黑龙江省哈尔滨市南岗区西大直街92号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。