买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：深圳大学

摘要：本发明公开了一种基于深度学习的多色超分辨显微成像方法，应用在光学显微镜成像技术领域，本发明提供在多细胞器显微成像时，将多种细胞器分离并提升分辨率的方法，降低光学系统的复杂度及设计成本，并降低对样本的要求与光学损耗和图像采集的时间复杂度，从而为相对低成本的快速多色超分辨成像提供技术支持。

主权项：1.一种基于深度学习的多色超分辨显微成像方法，其特征在于：包括以下步骤：S1.制备多种标记单一细胞器的细胞样品，搭建卷积神经网络；S2.从共聚焦显微系统上获得低分辨率单色图像，从STED显微系统上获得高分辨率的单色图像；S3.将共聚焦图像与STED图像进行图像配准，组成低分辨率与高分辨率的数据对；S4.共聚焦图像与STED图像选取不同细胞器叠加，获得多色图像低分辨率与高分辨率的数据对；S5.数据对按照一定比值分成训练集和验证集；S6.设置网络训练时的超参数；S7.网络前向、反向传播，进行权量更新；S8.网络是否收敛，若不进行收敛，则返回S7中重新进行，若进行收敛则进行下一步骤；S9.网络是否在验证集上表现良好，若表现较差，则返回S6中重新进行，若表现良好则进行下一步骤；S10.制备标记多种细胞器且光谱不可分的细胞样品；S11.从共聚焦显微系统上获得低分辨率的单色原始图像；S12.将原始图像按一定比值、方差缩放后输入进搭建好的网络中；S13.将网络所输出的图像恢复至原本的区间，并赋RGB伪彩色以实现多色超分辨涂层对应多种细胞器；对于卷积神经网络的模型搭建：网络搭建、网络训练及测试通过Python语言、Pytorch框架进行；对于主体网络：由于在实践过程中细胞器分离相对于分辨率提升的难度要高，采用多任务协同的网络结构，网络由特征提取部分、融合部分、超分辨部分、解耦部分与解耦超分辨部分构成；输入首先经过特征提取部分，特征提取部分中Encoder所提取的浅层特征分别进入解耦部分网络和超分辨部分网络，分别输出对应的辅助任务输出和多尺度的特征，再将其通过特征融合模块融合并输入到最后的预测网络得到主任务的输出；对于特征提取部分，单一的EndtoEnd方法无法保证稳定提取每一个细胞器的特征，使用Resnet34网络结构作为backbone实现稳定的对应细胞器浅层特征提取，再将其分别输入至解耦模块和超分辨模块以进行单一任务的处理，对于Resnet34的训练，在网络训练过程中加入分类任务，通过分类损失增加backbone对不同结构的特异性，起到提取对应细胞器特征的作用；对于超分辨部分：网络使用包含了傅里叶频域处理的ResidualGroups结构，并在每一个FCAB模块间加入了上采样处理以形成多尺度的特征，超分辨部分输出一个单色超分辨的输出和经过两次傅里叶变换并在频域中经过处理的特征；对于所使用的RRG_1模块与RRG_2模块：网络在预测阶段采用多头输出，使其各自利用所需要的特征信息，模块RRG采用n个DAB，以达到更好的特征提取效果，DAB模块采用Spatialattentionlayer和Channelattentionlayer从空间和通道上整合信息，并使用残差连接的方式防止梯度传播问题从而稳定网络训练；对于卷积神经网络所需数据的采集：对于训练过程：需要采集多个细胞器的数据集，采用有监督训练方式，故而需要以数据对的形式获取数据，即多种单一细胞器在同一视场下的单色共聚焦显微图像和单色STED显微图像；由于系统欠校准及异步成像时的漂移问题，同一视场下的共聚焦显微图像与STED显微图像会有一定的刚体形变或非刚体形变，数据对之间需要进行图像配准操作，采用基于ORB的特征点检测及特征点配对进行配准；在获取到多种单一细胞器的图像后，可根据实际应用场景将多种细胞器间以不同的比值进行组合获得多细胞器的数据对同时适应实际样品可能存在不同细胞器荧光强度不均衡的问题，至此，低分辨率和高分辨率的单一细胞器和多细胞器的数据均已获得，以下用singlemulti表示单一多种细胞器，用LRHR表示低分辨率高分辨率细胞器，数据集包括multi_HR、multi_LR、single_HR、single_LR，其中构成为输入multi_LR，辅助任务输出single_LR、multi_HR和主任务输出single_HR，最后，使用随机组合的方式生成m组数据用作训练集，n组用作验证集，构成训练集的数据和构成验证集的数据需严格区分开。

全文数据：

权利要求：

百度查询： 深圳大学 一种基于深度学习的多色超分辨显微成像方法