买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：合肥工业大学

摘要：本发明公开了一种基于通用图像分割大模型和多视角类激活图的医学报告生成方法，包括：1使用通用图像分割大模型的编码器获取正视图和侧视图特征；2计算正视图和侧视图的类激活图；3基于类激活图分别分离正视图、侧视图的前景图和背景图；4分别计算正视图、侧视图的前景特征表示和背景特征表示，进而构建级联特征表示；5使用编解码模块对报告文本进行预测；6使用标签损失函数和基本损失函数指导网络优化完成报告生成任务。本发明能提升模型输入的针对性和提高模型对图像特征的提取能力，从而能提高报告文本对肺部图像异常区域的感知和描述能力。

主权项：1.一种基于通用图像分割大模型和多视角类激活图的医学报告生成方法，其特征在于，包含以下步骤：步骤1、获取带有真实标签ytrue的一张肺部放射图像的正视图X1以及一张肺部放射图像的侧视图X2，并分别使用通用图像分割大模型的编码器进行特征提取，得到维度为[H，W，C]的正视特征图V1和侧视特征图V2；其中，H和W分别表示特征图的高度和宽度，C表示特征图的特征维度；将V1和V2中任意一张特征图记为第i张特征图Vi，i∈{1，2}；获取前述肺部放射图像对应的维度为Nw的报告文本T，并从T中计算词表大小vocab_size，其中，Nw表示报告文本T的长度；步骤2、构建CAM计算模块，用于对V1和V2进行分别处理，相应得到正视图预测标签y1和侧视图预测标签y2以及第i张类激活图cami，i∈{1，2}；步骤3、构建特征分离模块用于对cami进行处理，得到第i张前景图cami_fore和第i张背景图cami_back；步骤4、构建特征表示模块，用于对cami_fore和cami_back进行处理，得到级联特征表示Vrep；步骤5、构建Transformer模型，用于对报告文本T和Vrep进行处理，得到报告文本T的预测输出Tpred；步骤6、由图像编码器、CAM计算模块、特征分离模块、特征表示模块和Transformer模型构成医学报告生成网络，并利用式6和7分别构建医学报告生成网络的标签损失函数Lcls和基本损失函数Lbase：Lcls＝wfytruelogy1+wlytruelogy26式6中，wf和wl分别为所设置的正视图的权重和侧视图的权重；y1表示正视图的预测标签，y2表示侧视图的预测标签； 式7中，Tk表示报告文本T中的第k个词，表示报告文本T的预测输出Tpred中的第k个词；步骤7、通过Adam优化器对所述医学报告生成网络进行训练，并利用式8计算总损失函数L以更新网络参数，直至损失函数L收敛为止，从而得到最优医学报告生成模型，用于对输入的肺部图像进行内容描述，并输出相应的报告文本。L＝Lbase+λLcls8式8中，λ表Lcls的权重。

全文数据：

权利要求：

百度查询： 合肥工业大学 基于通用图像分割大模型和多视角类激活图的医学报告生成方法