买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开一种基于轻量化Transformer的性能预测系统及其硬件加速方法，系统包括ADC模块、航空发动机性能参数估计上位机、数据输入模块、数据异常预测模块和数据输出模块，均烧录至FPGA开发板芯片中；其中，数据异常预测模块用于对预处理后的数据进行Transformer神经网络的前向传播计算，输出待预测点的性能预测数据。采用Transformer神经网络可大规模并行处理，有利于在FPGA开发板上的部署。针对Transformer网络的轻量化及加速进行分组结构化稀疏操作，通过对权值矩阵进行分组，经过多轮迭代式剪枝以及重训练，最终确定组内稀疏度具体值。本发明可以提高航空发动机性能参数的预测精度。

主权项：1.一种基于轻量化Transformer的性能预测系统的硬件加速方法，其特征在于，所述的基于轻量化Transformer的性能预测系统包括ADC模块、航空发动机性能参数估计上位机、数据输入模块、数据异常预测模块和数据输出模块，均烧录至FPGA开发板芯片中；ADC模块、航空发动机性能参数估计上位机、数据输入模块用于模拟数据的采集和发送，并对数据进行预处理；数据异常预测模块用于对预处理后的数据进行Transformer神经网络的前向传播计算，输出待预测点的性能预测数据；Transformer神经网络包括输入位置编码层、多层编码器和全连接层；不同层的编码器结构一致，均包括多头注意力机制、残差和行归一化、前反馈层；FPGA开发板存储Transformer神经网络的神经权重；数据输出模块用于对预测数据进行阈值判断，并输出检测到的异常信号；所述的方法包括以下步骤：步骤1、采集航空发动机各个部件的压力与温度传感器的原始数据，航空发动机性能参数估计上位机根据原始数据通过卡尔曼滤波算法估计出性能参数；对得到的性能参数进行预处理，并将其划分为训练集和测试集；步骤2、训练Transformer神经网络获得神经权重矩阵；初始化Transformer神经网络的超参数和神经权重；将训练集数据批量输入进行训练，直到网络收敛；通过调节超参数，进行网络剪枝，并进行复训练，使其达到最优；将测试集数据输入训练完成的Transformer神经网络，对其进行测试验证；步骤如下：步骤2.1：随机初始化Transformer神经网络的超参数和神经权重；步骤2.2：将训练集数据批量输入至Transformer神经网络，通过前向传播的输出结果与输入的训练集数据对比，获得数据损失函数，利用其反向传播的求导更新输入位置编码层、各层编码器和全连接层的神经权重；步骤2.2.1：训练集数据批量输入至输入位置编码层中进行计算，得到含有相对位置信息的特征向量；将含有相对位置信息的特征向量输入到编码器的多头注意力机制中，并将得到的结果与输入做残差和行归一化，以防止模型过拟合；将多头注意力机制的输出输入前反馈层，得到的输出再与前反馈层输入做残差和行归一化；Transformer神经网络的编码器均具有相同的结构，通过超参数的网络层数确定编码器层数；输出层采用全连接层的方式，并将全连接层的输出作为Transformer神经网络的输出结果；步骤2.2.2：通过Transformer神经网络前向传播的输出结果与输入的训练集数据的对比，计算数据损失函数的输出结果；利用数据损失函数的输出结果对其各层网络的神经权重进行求导，并更新各层网络的神经权重，获得神经权重矩阵；步骤3、将步骤2所得Transformer神经网络的神经权重矩阵进行分组结构化稀疏处理，获得最终轻量化的Transformer神经网络；步骤3.1：将神经权重矩阵的每一行分成大小相等的组，将每组权值排序并剪掉绝对值最小的权值，每组设有相同的稀疏度，所述相同的稀疏度为相同数目的非零值；步骤3.2：通过训练数据集，将含有剩余权值的网络进行重训练，经过多轮迭代式剪枝，最终确定组内稀疏度具体值；步骤3.3：输出最终剩余权值的位置和数值，作为最终Transformer神经网络的神经权重；步骤4、统计Transformer神经网络神经权重的数量，并计算其所占存储资源的大小；选取FPGA开发板，将Transformer神经网络结构和神经权重分别烧录至FPGA开发板的芯片和存储资源上，作为数据异常预测模块；步骤5、通过ADC模块对航空发动机时序数据进行采样，并输入至航空发动机性能参数估计上位机，得到航空发动机当下性能参数数据；数据输入模块对性能参数数据进行预处理，并将预处理后的数据作为数据异常预测模块的输入；步骤6、数据输入模块将预处理后的航空发动机性能参数时序数据，以固定速率输出至数据异常预测模块；经过Transformer神经网络的前向传播后，输出待预测点的性能预测数据至数据输出模块；通过数据输出模块对性能预测数据进行判断，并将预警信号输出至上位机显示。

全文数据：

权利要求：

百度查询： 大连理工大学 一种基于轻量化Transformer的性能预测系统及其硬件加速方法