买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：速度科技股份有限公司

摘要：本发明公开了一种基于NesT模型的语义分割方法，包括步骤：S1选取和训练教师teacher模型：选取教师模型，并进行训练，完成教师模型的训练；S2设计和训练学生student模型：采用知识蒸馏方法使用教师模型引导训练学生模型，提高学生模型的泛化性能；S3利用学生模型进行分割处理：输入待分割的图像，经过学生模型进行图像分割得到输出，并构建损失函数，从而实现语义分割。将NesT模型作为高级特征编码器，进行图像特征的压缩编码，经过上采样解码映射操作后，实现图像分割，提高分割的准确性。

主权项：1.一种基于NesT模型的语义分割方法，其特征在于，具体包括以下步骤：S1选取和训练教师teacher模型：选取教师模型，并进行训练，完成教师模型的训练；S2设计和训练学生student模型：采用知识蒸馏方法使用教师模型引导训练学生模型，提高学生模型的泛化性能；S3利用学生模型进行分割处理：输入待分割的图像，经过学生模型进行图像分割得到输出，并构建损失函数，从而实现语义分割；所述步骤S1中的选用resnet-101为教师模型，输入训练样本后，采用卷积神经网络CNN模型训练流程进行模型训练，完成教师模型训练；所述步骤S2设计和训练学生模型的具体步骤为：S21：将温度参数E引入教师模型中，得到教师模型的归一化指数函数softmax层输出类别的概率定义为“softtarget”，用来辅助原始数据标签groundtruth训练学生模型；即在输出数据进入softmax层之前，引入温度参数E，经过softmax层后，得到输出类别的概率： 其中，qi是在温度参数E下教师模型的softmax输出在第i类上的值，exp为指数函数，zi是教师模型进入softmax层之前的输出概率，N是总类别数量；其中E是温度参数；S22：引导并训练基于NesT的分割模型即学生模型；S23：学生模型反向传播，更新参数；计算损失函数，梯度下降，更新参数，直到完成训练；所述步骤S22引导并训练基于NesT的分割模型的具体步骤为：S221：输入图像数据，即给定一帧输入图像，图像的形状大小为H×W×3，将每个大小为S×S的图像线性映射到词向量空间Rd，d是映射的词向量空间维度；然后对所有的词向量进行分块和展开，生成输入X∈Rb×Tn×n×d，其中，b是批量大小，Tn是NesT结构最底部的块数，n是每个图像块里的序列长度，公式为：S222：NesT的每个块采用标准Transformer层独立的处理信息，在每个图像块内，多个Transformer层被堆叠在一起，每个Transformer层由一个多头自注意力机制MSA层后接一个具有跳转连接和归一化层的前馈全连接网络组成，将可训练的位置嵌入向量添加到Rd中的所有序列向量中，对空间信息进行编码，然后输入块函数： 其中，multiple指多个Transformer层，MSANest指多头注意力机制模块，x是输入序列，x’＝LNx是经过层归一化映射处理的序列，y是残差输出；给定输入X∈Rb×Tn×n×d，由于NesT层次结构中的所有块都共享参数，因此，利用MSANest是对所有块并行应用MSA层，上述公式则转换成并行形式，如下式所示： 其中，MSANestQ,K,V是同层结构中多注意力机制的总输出，Stack是堆叠函数，block是图像序列块且blocki＝MSANestQ,K,VWO，WO是Transformer矩阵，blocki的尺寸为b×n×d；S223：在图像层面执行块集成，以促进近邻块的信息交互；将l层的输出Xl∈Rb×block×n×d，转换全图像平面Al∈Rb×H’×W‘×d’，其中，H’是转换后的图像平面的高，W’是转换后的图像平面的宽，d’是转换后的图像平面的维度，在采样特征Al’∈Rb×H’2×W‘2×d上进行空域操作；S224：将空域操作后的特征转换为Xl+1∈Rb×block4×n×d；判断l+1是否为总的结构层数；若是，则输出Xl+1，否则继续执行步骤S223；S225：将特征编码进行上采样解码，从而完成学生模型的设计和训练。

全文数据：

权利要求：

百度查询： 速度科技股份有限公司 一种基于NesT模型的语义分割方法