买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连医科大学附属第二医院

摘要：本发明属于医疗技术领域，提供一种基于改进的FasterRCNN显微高光谱图像白细胞检测方法，使用高光谱显微镜获取血液涂片白细胞检测图像，且基于改进的FasterRCNN对白细胞识别分类的方法。使用高光谱显微镜获取血液涂片的伪彩图像及光谱数据，对不同类别白细胞进行标注，制作成数据集。对传统FasterRCNN网络进行改进，即使用Resnet18替换FasterRCNN原始网络中的VGG16，将其作为新的伪彩图像特征提取网络；建立针对血液涂片高光谱数据的光谱数据提取模块，利用一维卷积神经网络进行光谱特征提取，在上述改进基础上，利用FasterRCNN网络进行白细胞图像特征和光谱特征融合，最终实现白细胞识别分类。相较于传统的FasterRCNN网络，本发明在对白细胞的识别精度与分类准确度上都有显著的提升。

主权项：1.一种基于改进FasterRCNN的显微高光谱白细胞检测方法，其特征在于，步骤如下：（1）建立白细胞数据集：使用显微高光谱系统采集血液涂片的伪彩图像以及光谱图像，对伪彩图像进行颜色矫正，并对五类白细胞进行框选和类别的标注，对光谱图像进行黑白矫正，制作为训练数据集及验证数据集；所述的伪彩图像由667.4、557.2和440.5三个波段对应的图像合成，三个波段分别对应图像的R，G，B通道，对伪彩图像使用Gamma进行颜色矫正；所述的光谱图像的黑白矫正具体指：采集一副空玻片光谱图像作为矫正使用的白色参考图像，即规定空白玻片的光谱反射率为最高值；将光谱相机的镜头盖盖上，关闭光源，采集一幅纯黑环境下的光谱图像，作为矫正的黑色参考图像，即规定该无光环境下的光谱反射率为最小值；之后将所有的光谱图像的数据基于白色参考图像和黑色参考图像进行归一化处理，得到矫正后的光谱图像；图像视野内的每一个白细胞都会被框选并基于对应的分类标签；对于每一张图像来说，最终的数据集包括一张伪彩图像、一张光谱图像、一个包含该图像中所含白细胞的定位框坐标和分类标签的属性文件；（2）构建伪彩图像特征提取网络：采用Resnet18作为FasterRCNN的特征提取网络；Resnet18以3*3的小卷积核进行搭建，网络内部的特征提取模块为ConvBlock块和IdentityBlock块，二者交叉排列，ConvBlock块用来对图像进行压缩，IdentityBlock块不会对图像尺寸做出改变，两个特征提取模块将提取出的特征与原始特征相结合，得到公共特征层；光谱图像的特征提取网络采用基于1*3卷积核的Conv1D+MaxPooling1D层的形式进行搭建；（3）构建RPN提议网络，负责自动生成初始的目标先验框，以及对目标先验框进行初步的分类和后续根据目标先验框最终筛选得到建议框，并在公共特征层截取相应特征；伪彩图像在经过图像特征提取网络后得到的公共特征层有两个应用，公共特征层的第一个用途是将其经过一次3*3尺寸卷积，之后继续分为两个网络分支，其一用来对每个点生成9个先验框；其二生成每个先验框与真实标注框的偏差值；之后这两组特征被相继传入propasal与ROIPooling层中分别进行先验框的初步分类与最终建议框的筛选；公共特征层的第二个用途是输入到ROIPooling层中，根据筛选出的建议框截取相应的特征块，并统一特征快尺寸，得到最终的目标特征；（4）构建建议框坐标返回网络分支：采用全连接层来搭建建议框坐标返回网络分支，并对其进行解码，用于得到目标特征块在原图上的坐标值；（5）构建光谱数据提取模块：根据建议框坐标返回网络分支得到的坐标值截取相应的光谱数据；对截取后的光谱数据在各波段上做平均计算得到每个建议框内目标的平均光谱数据，作为光谱特征提取网络的输入；伪彩图像输入到FasterRCNN网络经过Resnet18提取完特征后，经过RPN网络，RPN网络会判定图像中哪些区域为细胞主体，并得到大小不等的特征块，在经过ROIPooling层后，由网络提议的特征块被转化为统一的尺寸；之后的FasterRCNN分为两支，一支为预测定位框坐标的返回网络，用于学习并返回预测出的细胞定位框的四个坐标以及和属性文件中标注定位框坐标的偏差值；另一支为细胞五分类的分类网络；光谱数据储存在raw类型的图片文件中，该文件类型是将光谱图片中所有像素在各个波段对应的反射率数值首尾相接的排列成一维列表，需要先将其按照图像的长×高×波段数的格式重新排列为一个三维的数据块，之后利用基于伪彩图像得到的细胞预测坐标框的四个坐标值截取出对应的像素点以及其在所有波段的反射率数值，在每一个波段下求取所有像素点的反射率平均值，得到一个平均光谱曲线，作为光谱特征网络的输入；（6）构建光谱特征提取网络：额外构建一维光谱数据特征提取网络，输出为一维的光谱特征；经过光谱数据提取模块得到的各细胞的平均光谱曲线为一维数据，因此面向光谱的特征提取网络选用Conv1D进行搭建；该网络以Conv1D+MaxPooling的结构搭建，对350维的光谱数据进行了压缩，在得到特征层后，进行Flatten操作，得到一维全特征层，再连接一个全连接Dense层，之后再与FasterRCNN末尾细胞分类分支中的伪彩图像特征层相连接；（7）特征融合网络的构建：光谱特征提取网络末端提取出的特征与FasterRCNN末端基于细胞伪彩图像分类的特征层相融合，之后再连接整体的分类网络，实现基于细胞图像空间和光谱的融合特征进行分类的目的；FasterRCNN的分类分支中在使用softmax层进行分类之前，会将RPN层得到的特征块进行flatten操作变成一个一维的特征层，光谱特征提取网络的最后一层同样是一维的特征层，将两个特征层按照1:1的权重进行拼接，得到一个包含空间和光谱特征在内的融合特征层，之后再接softmax的分类层，实现基于融合特征的分类。

全文数据：

权利要求：

百度查询： 大连医科大学附属第二医院 一种基于改进Faster RCNN的显微高光谱白细胞检测方法