买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:黑龙江大学
摘要:多模态糖网图像病变分级方法,包括骨干网络、类别注意力模块、模态交互信息引导的空间注意力模块与分类器,所述的骨干网络为两个独立的骨干网络,分别对读入的彩色眼底图像和荧光素造影图像提取特征;所述的类别注意力模块利用彩色眼底图像和眼底荧光素造影图像特征获得每个类别的注意力权重,得到类别加权的特征图,送入模态交互信息引导的空间注意力模块;所述的模态交互信息引导的空间注意力模块通过模态信息交互模块建模模态间的特征依赖关系并提取上下文相关性,然后利用空间注意力将模态信息交互模块捕获的关键病变位置纳入到注意力加权融合过程,实现关键病变的准确定位;所述的分类器将空间注意力的输出送入包含一个全局平均池化操作和全连接层的分类器进行严重程度分级。本发明涉及的图像病变分级方法将彩色眼底特征和荧光素造影特征进行融合,侧重于结合两种模态中具有分级价值的信息来进行决策,具有可靠性好、使用价值高等优点。
主权项:1.一种多模态糖网图像病变分级方法,包括骨干网络、类别注意力模块、模态交互信息引导的空间注意力模块与分类器,所述的骨干网络为两个独立的骨干网络,分别对读入的彩色眼底图像和荧光素造影图像提取特征;所述的类别注意力模块利用彩色眼底图像和眼底荧光素造影图像特征获得每个类别的注意力权重,得到类别加权的特征图,送入模态交互信息引导的空间注意力模块;所述的模态交互信息引导的空间注意力模块通过模态信息交互模块建模模态间的特征依赖关系并提取上下文相关性,然后利用空间注意力将模态信息交互模块捕获的关键病变位置纳入到注意力加权融合过程,实现关键病变的准确定位;所述的分类器将空间注意力的输出送入包含一个全局平均池化操作和全连接层的分类器进行严重程度分级。
全文数据:
权利要求:
百度查询: 黑龙江大学 一种多模态糖网图像病变分级方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。