买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东交通学院

摘要：本发明涉及计算机技术领域，具体地涉及基于多样性语义提取和联合部件感知的卷积神经网络，该网络引入了通道维度的特征，将空间维度与通道维度的特征结合起来提取输入特征图鉴别性信息。具体来说，本发明提出的多样性语义提取模块从通道维度挖掘特征图的重要语义信息，并且为了使得提取出的信息不重复，设计了一个组间差异性约束来提取多样性的鉴别性特征。同时，还设计了一个联合部件感知机制，该机制将多样性语义提取模块输出的特征图作为指导，来从空间维度挖掘局部特征图中的细粒度特征，提高了系统在复杂多变环境下对输入特征图细微的鉴别性信息提取能力。

主权项：1.基于多样性语义提取和联合部件感知的卷积神经网络，其特征在于，以ResNet-50网络作为骨干网络，在res_conv4_1层后划分为三个分支：全局分支、多样性语义提取分支和联合部件感知分支；所述多样性语义提取分支嵌入多样性语义提取DSE模块；所述联合部件感知分支嵌入联合部件感知机制JSP，形成基于多样性语义提取和联合部件感知的卷积神经网络，所述网络用于提取输入特征图中的鉴别性信息；所述DSE模块将输入特征图利用卷积得到三个张量，沿通道维度将三个张量分别划分若干组，然后通过重塑操作来分别得到每组的通道查询矩阵、通道键矩阵和通道值矩阵；将每组的查询矩阵与通道键矩阵的转置进行相乘，并经过Softmax函数归一化后得到通道依赖关系矩阵；将通道依赖关系矩阵沿着列方向进行压缩得到通道注意力矩阵；将所有组的通道注意力矩阵拼接成一个矩阵并对所述矩阵的每一行应用Softmax函数处理，然后对处理后的矩阵按列拆分得到经过差异性约束后的多样性通道注意力掩码；将每个掩码与对应的通道值矩阵进行逐元素相乘得到输出特征图，并将所有组的所述输出特征图拼接在一起并进行重塑，最后与原始特征图相加并实施批量归一化和GELU激活函数后得到最终的DSE模块输出特征图；所述JSP对输入特征图进行划分，得到若干个部件的特征表示，将DSE最终的输出特征图进行压缩并与每个部件做内积，建立了具有鉴别性信息的全局特征图与每个部件之间的联系；对所述内积应用Sigmoid函数进行归一化得到空间注意力图，将空间注意力图与对应的特征表示相乘后再与每个特征表示相加，生成JSP的输出特征图。

全文数据：

权利要求：

百度查询： 山东交通学院 基于多样性语义提取和联合部件感知的卷积神经网络