买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北师范大学

摘要：本发明公开了一种基于CNN‑LKA的稀疏图注意力软测量建模方法。首先利用Large‑KernelAttentionLKA通过引入大尺寸的卷积核，在输入数据的滑动窗口范围内进行卷积操作，并计算得到的加权值用于聚焦重要信息。这种操作能够有效地增强模型对输入数据的局部结构特征的捕捉能力。然后利用稀疏图注意力计算特征与其邻居特征之间的关联度，从而捕捉到对当前节点特征特别重要的邻居节点特征。这样可以使得模型能够更加关注数据中的关键节点特征，进而提高信息传递的准确性和效率，提高模型的泛化能力。该发明解决了现有软测量技术中存在工业数据中特征冗余和特征提取能力弱的问题，在工业预测领域中具有重要的应用价值。

主权项：1.一种基于CNN-LKA的稀疏图注意力软测量建模方法，用于复杂工业过程中预测部分难以直接测量的关键变量，其特征在于：步骤1：在工业现场收集与软测量目标相关的数据集。这些数据集应包含与关键质量变量相关的辅助变量，以确定模型的输入变量。需要确保数据集具有足够数量的样本及样本多样性，以代表不同的操作条件和变化范围。软测量建模通常是通过多个辅助变量来预测一个关键质量变量，可以用一个复杂函数表示y＝gη，其中y为需要预测的关键质量变量，η为辅助变量。η＝{η1,η2,...,ηm}，其中m为辅助变量的个数。步骤2：数据预处理。数据预处理在实际应用中至关重要，因为真实数据往往存在不完整和异常值等问题。为了确保准确的数据挖掘和建模，采取了以下数据清洗步骤：1异常点和错误点清洗：通过识别和处理异常点和错误点消除对模型的干扰。使用统计指标如均值和标准差来检测超出阈值范围的数据点，并对其进行修正或排除。2辅助变量筛选：通过计算每个辅助变量的样本中心，识别和筛选掉变异性较大的辅助变量。这样可以消除不稳定的辅助变量对模型的影响，提高建模的准确性。3数据归一化：数据归一化是将数据转化为统一的比例尺度的重要步骤。采用最大最小归一化方法，将数据缩放到[0,1]的区间内。这样做有助于加快神经网络的求解速度，并解决不同变量之间的量纲差异问题。通过以上数据预处理步骤，为模型的建立做好准备，以便更好地进行数据挖掘和建模。通过上述数据预处理步骤，可以提高模型的准确性和稳定性，并且使其在处理不完整和含有噪声的真实数据时更具适应性。接下来，将数据集划分为训练集和测试集的两部分。通常情况下，将80％的数据作为训练集，而将20％的数据用作测试集。这样做的目的是用训练集来训练模型、调整超参数，并使用测试集来评估模型的性能。这种划分可以有效地评估模型在未见过的数据上的泛化能力。步骤3：构建基于CNN-LKA的稀疏图注意力软测量模型，详细的网络模型构建分为一下几个步骤：步骤3.1：构建大核注意力模块。大核注意力Large-KernelAttention,LKA是一种通过分解变换操作为一系列卷积层来实现大核卷积效果的方法。它包括了深度可分离卷积DWConv、扩张深度可分离卷积dDWConv和逐点卷积PConv等一系列卷积核。具体而言，LKA的目标是将大核分解为两个小核：一个处理空间信息，另一个处理通道信息。为了实现这个目标，首先对输入特征图进行分离空间操作，使用较小的卷积核如3x3和步幅stride，在水平和垂直方向上滑动卷积核来捕获不同位置的空间信息。接下来，进行通道混合操作，即通过使用适当的卷积核尺寸如1x1对输入通道进行加权混合。这样可以调整通道数，并且将通道信息与空间信息相结合。LKA中的卷积核包括深度可分离卷积、扩张深度可分离卷积和逐点卷积。深度可分离卷积是一种滤波器，其权重在所有通道上共享；扩张深度可分离卷积则是通过增加滤波器的感受野来提取更广泛的信息；而逐点卷积是一种1x1的滤波器，用于调整通道数。通过这样的分解操作，大核可以被拆分为两个小核，从而减少计算和存储的复杂性。这种分解方法有助于提高模型的效率，并且能够更好地提取和学习输入特征中的关键信息。 DWConvX对输入特征图X进行深度可分离卷积操作，X2和X3分别表示空间混合和通道混合的结果。LKALearnableKernelAttention单元通过一组经过学习的卷积操作生成一个注意力掩模，然后用于对输入特征进行逐元素相乘的操作。在LKA中，DWConv使用的是大小为5×5的卷积核，而dDWConv使用的是大小为7×7、膨胀率为3的卷积核。LKA中的注意力模块包含了PConvPointwiseConvolution、GELUGaussianErrorLinearUnits、LKA和带有残差连接的PConv层。该模块的输入和PConv层的输出之间存在残差连接，以帮助信息传递和减轻梯度消失等问题。总结来说，这个架构通过LKA单元和注意力模块实现了对输入特征的注意力机制。其中，LKA单元使用DWConv和dDWConv操作生成注意力掩模，而注意力模块利用这些注意力掩模进行特征的加权和重组，通过残差连接提高特征的传递效果。这些操作和设计有助于增强模型对特征的建模能力和表达能力。LKA全连接模块是基于卷积的前馈ConvFF模块，它可以看作是一种卷积神经网络CNN中的全连接层，适用于对全局上下文信息的建模和特征提取。与传统全连接层相比，ConvFF具有以下优点：首先，它减少了网络参数数量，减轻了过拟合现象；其次，通过逐点卷积和深度可分离卷积操作，可以捕捉到输入数据之间的局部相关性，从而提高了特征表达的准确性和稳定性。LKA模块包括PConv、DWConv卷积核大小为3×3、GELU和最终的PConv。这些组件按照一定的顺序依次进行处理，形成了完整的LKA块。LKA块的整体流程如下：首先，输入经过批归一化层BN进行归一化处理，然后通过注意力模块进行特征加权。接下来，再次经过批归一化层BN，并通过残差连接与注意力模块的输出进行拼接。最后，拼接后的特征经过ConvFF模块的处理。在ConvFF模块中，首先使用PConv进行卷积操作，然后使用DWConv卷积核大小为3×3进行深度可分离卷积。接下来，通过GELU函数进行非线性激活。最后，再次使用PConv进行卷积操作，得到最终的输出特征。需要注意的是，在LKA模块中，除了ConvFF模块，还涉及到批归一化层BN和注意力模块，而且在它们之间建立了残差连接，以增强特征传递和模型性能。这种结构的设计可以加强网络对输入特征的建模能力，并提高模型的表达能力。步骤3.2：残差模块。残差模块Residual块是一种常用的卷积神经网络模块，它由一系列卷积层和批归一化层组成。具体而言，Residual块包含三个关键步骤。首先，使用一个1×1的卷积层对输入特征图进行通道数的扩展，将通道数增加k倍k1。这样做可以引入更多的非线性变换和表达能力，使得网络能够更好地学习特征。接下来，通过一个深度为3的卷积层对通道数扩展后的特征图进行进一步的特征提取。这个深度卷积层会独立地对输入特征图的每个位置进行卷积操作，在减少计算量的同时，提高了网络的感知能力。最后，使用一个1×1的卷积层对之前得到的特征图进行投影，并将通道数降低回原始输入特征图的通道数。这样可以减少计算量和存储需求，并且保持特征图的维度一致。在投影之前，还会将原始输入特征图与投影后的特征图进行残差连接，以便信息的传递和梯度的顺利流动。总的来说，Residual块通过扩展通道数、深度卷积和残差连接等操作，增强了网络的非线性变换能力、特征提取能力，并提高了计算效率。这种模块在卷积神经网络中得到广泛应用，有助于提升模型的性能和学习能力。步骤3.3：稀疏图注意力模块。稀疏图注意SparseGraphAttention，SGA假设以一个固定的矩阵数据结构为基础，该结构中每个像素与其所在行和列的第S个像素相互连接。以一个8×8的数据矩阵为例，当S设为2时，左上角的像素将与其所在行的每第二个像素以及其所在列的每第二个像素建立连接。换句话说，每个像素与距离自身特定间隔的像素建立联系。针对输入矩阵数据的处理方法与此类似。通过在输入矩阵的维度上进行移动操作来实现像素之间的连接关系。通过移动操作，可以将每个元素与其所在行和列的特定位置的元素相连。这样，每个元素都能够与特定间隔的像素建立联系，从而形成了SGA中所述的固定矩阵数据结构。模型中Grapher块是一个基于图卷积层的神经网络，用于提取和学习输入数据的特征。通过卷积操作，模型可以从输入数据中提取局部特征，并通过归一化操作将其标准化。然后，通过图卷积层，模型能够利用数据之间的关联和依赖关系来进一步提取更具有表达能力和区分度的特征表示。最后，将这些特征与原始输入数据相结合，以获得包含增强特征的最终输出。这种方法可以帮助模型更好地理解输入数据，并从中提取出更有意义和有效的特征。其公式表示为：L＝αMRConvηQinQout+η2其中α是GELU激活函数，Qin和Qout是全连接层的权重。全连接前馈神经网络FFN是一种常用的神经网络结构。在本模型中，使用了残差连接来解决深层网络训练中的梯度消失问题。在残差连接中，输入特征直接与输出特征相加，使得信息能够更好地传递和保留。此外，本模型还使用了卷积层、批归一化和激活函数层来进行特征提取和非线性变换。卷积层可以提取局部特征，批归一化可以加速训练过程并增强模型的鲁棒性，激活函数层则引入非线性变换，使得模型可以学习非线性关系。最终，通过这些层的组合和跳跃连接，FFN模型能够有效地提取和学习输入数据中的特征，并产生对应的输出。其对应的公式为：K＝αηQ1Q2+L3其中，Q1和Q2是全连接层的权重。步骤3.4：构建完成软测量模型后，可以按照以下步骤对采集到的数据进行处理：首先，将采集到的数据经过步骤1和步骤2的计算，得到预处理的辅助变量数据。接下来，将预处理的辅助变量数据输入到步骤3.1和3.2中进行大核卷积注意力和残差处理。这个步骤会在滑动窗口范围内对输入进行卷积操作，并计算加权值，用于聚焦于重要信息。然后，经过步骤3.3稀疏图注意力的处理，计算特征与其邻居特征之间的关联度，从而可以捕捉到对当前节点特征特别重要的邻居节点特征，确保模型更关注数据中的关键节点特征。通过以上步骤的处理，能够从采集到的数据中提取出有用的特征，并通过软测量模型得到所关注的关键变量的输出结果。步骤4：模型评估。使用测试集对训练好的遮蔽卷积注意力残差收缩网络模型进行评估。计算预测值与真实值之间的误差，评估模型的准确性和稳定性。通过采用MSE、MAE、RMSE、R2指标来评估本发明的性能。

全文数据：

权利要求：

百度查询： 西北师范大学 一种基于CNN-LKA的稀疏图注意力软测量建模方法