龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
摘要：本发明公开了一种基于视觉语言特征对比的胸部DR影像报告生成方法，首先，获取含有病变及无病变实例的胸部DR影像及对应报告构成训练数据集的锚实例、正实例和负实例；然后，通过卷积神经网络提取每个实例影像的卷积序列特征，进而得到视觉编码特征；随后，将锚实例、正实例、负实例分别进行编码获取语言编码特征；进一步地，将含有病变实例与无病变实例的锚实例、正实例和负实例的视觉编码特征和语言编码特征进行对比来优化网络；最后，在测试阶段仅需将影像的视觉编码特征输入文本生成解码器就可生成报告。本发明可以有效地通过对比不同实例间的视觉特征和语言特征来增强模型对于病变的表征，从而提升病变实例报告生成的性能。
主权项：1.一种基于视觉语言特征对比的胸部DR影像报告生成方法，其特征在于，包括如下步骤：步骤1、构建数据集，所述数据集包括胸部DR影像I和参考报告R，所述数据集根据病变实例定义锚实例、正实例和负实例；步骤2、对数据集进行图像增扩和文本增扩得到更多训练数据；步骤3、将DR影像输入卷积神经网络提取影像的卷积特征图，并展开得到卷积序列特征X；步骤4、将卷积序列特征与CLS类向量进行拼接得到序列特征E并输入自注意力编码网络编码得到锚实例影像视觉编码特征C；步骤5、将锚实例影像视觉编码特征C输入基于Transformer的文本生成解码器生成对应的报告文本；步骤6、将锚实例的生成报告以及正实例和负实例的参考报告输入语言特征编码器得到对应的语言编码特征；步骤7、锚实例、正实例、负实例的视觉编码特征中CLS类向量对应的视觉编码特征向量c进行对比，拉近正实例和锚实例的距离；步骤8、将锚实例、正实例、负实例的语言编码特征进行对比，拉近正实例和锚实例的距离，拉开锚实例和负实例的距离；步骤9、采用步骤1训练数据集进行联合训练，并采用交叉熵损失函数、视觉特征对比损失函数以及语言特征对比损失函数训练的优化函数；步骤10、在测试过程中，仅需将待测试的胸部DR影像对应的视觉编码特征输入文本生成解码器通过自回归的文本生成方式生成文本，并取结束字符之前的生成的文本进行串联就可得到完整的报告。
全文数据：
权利要求：
百度查询： 杭州电子科技大学 基于视觉语言特征对比的胸部DR影像报告生成方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号