买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京工业大学

摘要：一种基于稀疏密集表征的多尺度神经网络架构设计方法，包括基于稀疏多窗口划分机制的表征编码器设计；基于密集区域池化机制的全局上下文表征编码器设计；多尺度信息融合设计。神经网络具有四个特征提取阶段，每个阶段包含了若干个特征提取模块以及一个降采样层，用于对前一个阶段的输出特征进行两倍的下采样，使得模型从浅层到深层的分辨率逐渐降低，宽度通道数逐渐增加。基于稀疏多窗口划分机制的表征编码器采用多组并行的方式进行多种组合式感受野的联合学习；基于密集区域池化机制的全局上下文表征编码器首先将特征图进行下池化，然后进行点到区域的相似度计算以建模全局性的相似度信息；多尺度融合中采用基于线性多层感知机的模块实现。

主权项：1.一种基于稀疏密集表征的多尺度神经网络架构设计方法，其特征是包括以下步骤：步骤一：对原始输入图像进行格式化处理，形成神经网络支持的输入数据格式；步骤二：构建基于层级化的、具有稀疏密集联合表征学习特性的多尺度特征提取神经网络模型，用于学习图像的数据特征，为后续的多种计算机视觉任务提供视觉表征信息；步骤三：对步骤二提取的特征进行后处理；根据不同的的计算机视觉任务采用不同的后处理过程；所述步骤二中，多尺度特征提取神经网络模型的主干部分为四阶段four-stages结构，处理步骤包括：2.1对输入特征张量进行4倍下采样；2.2将采样后的输出特征作为模型的主体的初始输入，依次进行四个特征提取阶段的特征提取；2.3将第四个特征提取阶段的输出特征图作为表征结果，用于输入到后续的任务头中进行对应任务的后处理过程；在步骤2.2中，每个特征提取阶段中有多个特征提取模块；特征提取模块分为基于稀疏多窗口划分机制的表征编码器SPWA以及基于密集区域池化机制的全局上下文表征编码器DRA；采用基于多层线性感知机的多尺度信息融合模块对SPWA和DRA的特征输出进行多尺度信息的聚合；SPWA基于局部窗口划分机制，采用四种局部窗口划分模式进行多组并行编码；四种局部窗口划分模式分别为密集型四方形DenseSquare、垂直型条纹VerticalStripe、水平型条纹HorizontalStripe以及稀疏型四方形SparseSquare；各个局部窗口划分模式为相互独立的编码器组Groups，所有编码器组完成基于局部窗口的多头自注意力计算后进行特征通道维度的聚合；聚合后的特征与输入特征保持维度一致；DRA是基于特征区域池化实现；在将原始输入映射为Key和Value张量前，先将输入特征图进行r倍的下采样，假设原始输入特征图的大小为H×W，则池化后的特征图大小为Hr×Wr，Query张量的维度与原始特征图保持一致；多尺度信息融合模块是基于MLP的特征融合层；SPWA的输出特征为细粒度层面fine-grained，DRA输出特征为粗粒度层面coarse-grained，两者张量维度保持一致；在多尺度信息融合模块中，输入数据为两个编码器的输出拼接，输出的维度与任意一个编码器的输出特征张量保持一致。

全文数据：

权利要求：

百度查询： 南京工业大学 一种基于稀疏密集表征的多尺度神经网络架构设计方法