买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：湖南工业大学

摘要：本发明公开了一种基于语义指导的鼻内镜腺样体肥大诊断报告生成方法，所述方法包括：S1：数据收集和预处理，构建训练样本集；S2：构建诊断报告生成模型；S3：将S1中训练样本集中每张鼻内镜图像作为输入，对应的报告作为输出，分别计算总结语句损失和描述性语句损失，采用Adam算法优化网络目标函数，并运用误差反向传播算法更新网络模型参数，对步骤S2中的模型进行训练，得到训练好的诊断报告生成模型；S4：对于待生成诊断报告的鼻内镜图像，将该图像输入S3中训练好的模型，得到诊断报告；综上所述，本发明方法通过引入语义信息来指导报告生成，确保生成文本之间具有连贯性与依赖性，提高了报告的质量和可理解性。

主权项：1.一种基于语义指导的鼻内镜腺样体肥大诊断报告生成方法，其特征在于，所述方法的步骤如下：S1：根据实际需要收集若干张鼻内镜腺样体图像V，同时获取每张图像的诊断报告，并构建训练样本集；S2：构建诊断报告生成模型，其模型包括视觉特征编码模块、总结性诊断语句生成模块、文本语义特征编码模块、视觉特征和文本语义特征融合模块，以及描述性语句生成模块，其模型如下：S2.1：视觉特征编码模块用于将图像V馈送到视觉编码器fv，得到图像特征X，其图像特征X的表达式为：X＝fvVS2.2：总结性诊断语句生成模块用于将图像特征馈送到单层LSTM进行解码，生成总结性诊断语句Impression；S2.3：文本语义特征编码模块用于将语句馈送到Transformer编码器进行编码，得到语义特征If；S2.4：视觉特征和文本语义特征融合模块用于引入注意力网络将图像特征与文本语义特征融合，并输出融合后的文本视觉特征vatt，其输出的融合后的文本视觉特征vatt的表达式为： 式中，αi表示注意力分布，Xi为第i个区域视觉特征的向量；S2.5：描述性语句生成模块用于将文本视觉特征送到双层LSTM进行解码以得到首句，并馈送到文本语义特征编码模块，生成下一句，直到生成空句，递归生成描述性语句Findings；S3：将S1中训练样本集中每张鼻内镜图像作为输入，对应的报告作为输出，分别计算总结语句损失和描述性语句损失，采用Adam算法优化网络目标函数，并运用误差反向传播算法更新网络模型参数，对步骤S2中的模型进行训练，得到训练好的诊断报告生成模型；S4：对于待生成诊断报告的鼻内镜图像，将该图像输入S3中训练好的模型，得到诊断报告。

全文数据：

权利要求：

百度查询： 湖南工业大学 基于语义指导的鼻内镜腺样体肥大诊断报告生成方法