买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京航空航天大学

摘要：本发明针对智能系统在推理演进阶段失效机理难表征的问题，提出了一种基于缺陷样本生成的智能系统推理演进失效机理分析方法。它包含四大步骤：1对智能系统进行推理演进过程建模，找出其关键影响因素，定义其失效判据；2结合得到的关键影响因素，生成缺陷数据样本；3基于Grad‑CAM的可视化失效机理分析4基于代理模型构建智能系统失效机理模型。

主权项：1.一种基于缺陷样本生成的智能系统推理演进失效机理分析方法，其特征在于其包含以下步骤：步骤一：分析智能系统推理演进过程，找出其关键影响因素，定义其失效判据；步骤1确定影响智能系统可靠性的关键影响因素：在推理演进阶段，影响智能系统可靠性的关键影响因素为样本的多样性与对抗性，分别记为Div、Adv；通过生成多样性与对抗性的缺陷数据样本，输入至智能系统进行测试，来得到智能系统的失效数据；步骤2定义智能系统失效判据：使用智能系统识别准确率来定义其失效判据；以智能系统在原始测试集中的识别准确率为基准，记为ACCs，当智能系统在其他缺陷样本数据中的识别准确率低于该基准，则认为智能系统出现失效，需记录失效数据；智能系统识别准确率的具体计算公式为： 其中，ACC表示智能系统在测试数据集中的识别准确率；TP表示被智能系统预测为正的正样本数量；FP表示被智能系统预测为正的负样本数量，FN表示被智能系统预测为负的正样本数量，TN表示被智能系统预测为负的负样本数量；基于此，智能系统的失效判据定义为： 其中，ACCT表示智能系统在第T个缺陷数据样本中的识别准确率；步骤二：结合得到的关键影响因素，生成缺陷数据样本；步骤1基于扩散模型的多样性缺陷样本生成：1样本多样性度量指标结合Cosin相似度指标来度量样本多样性，将生成的样本表示为一个向量Sam，通过计算向量之间的余弦值来表示生成样本的多样性，其计算公式为： Div＝1-|Cosin|其中，Cosin为样本相似度指标，Sam1表示原样本的向量，Sam2表示生成的缺陷样本的向量，Div表示计算得到的多样性；2基于扩散模型的多样性缺陷样本生成使用扩散模型生成多样性缺陷样本，在扩散模型的前向阶段，对原始图像数据集中的N个图像样本，逐步添加噪声，直至原始图像样本被完全破坏成高斯噪声，其变化过程表示为： 其中，x1:T表示在时间步骤t＝1到T时刻的状态序列，这是一个随机变量序列，表示在一定时间范围内原始样本的状态演变；x0表示t＝0时原始样本的状态；xt表示t时刻样本的状态；xt-1表示t-1时刻样本的状态；而qxt|xt-1为： 其中，βt为高斯分布的方差超参数，满足βt∈0,1，表示高斯分布，其中a＝xt为高斯分布的取值，表示均值，c＝βtI表示当前时间步xt的条件高斯分布的协方差矩阵；得到被完全破坏的样本后，再进行减熵，逐步将噪声数据转换为新的图像数据样本，该变化过程表示为： 其中，px0:T表示t＝0到T时刻状态序列的联合概率密度分布，pxT表示T时刻的状态概率分布，即完全被高斯噪声破坏后的图像状态；而pxt-1|xt为： 其中，μxt,t表示均值，是关于xt和时间t的函数，∑xt,t表示协方差矩阵；通过扩散模型生成与原始数据集相同数量的缺陷数据样本，结合样本多样性度量指标Div，计算得到扩散模型生成样本的多样性；使用扩散模型生成具有不同Div值的缺陷数据样本，输入至智能系统中，测试智能系统在不同多样性取值样本中的识别准确率，结合步骤一子步骤2定义的失效判据，记录失效数据；步骤2基于快速梯度符号法FGSM的对抗性缺陷样本生成：1样本对抗性度量指标使用L2范数来计算样本的对抗性，将生成的对抗样本与原始样本表示为一个向量，则其对抗性计算公式表示为： 其中，x表示原始图像的像素向量，y表示生成的对抗图像的像素向量，xi和yi分别为两个图像在第i个位置的像素向量，n表示图像中的像素总数，计算得到的Adv即为L2范数；2基于FGSM的对抗性缺陷样本生成基于FGSM的对抗样本生成过程的计算公式为： 其中，ε为扰动幅度或扰动大小，sign·是符号函数，用取梯度的符号，J表示损失函数，θ表示的是模型参数，lab是图像x对应的标签，表示损失函数J对输入x的梯度，y表示生成的对抗性缺陷样本；使用FGSM的同时还增加了图像旋转、翻转变换以增强样本的对抗性： 其中，y为添加扰动后的对抗样本，p表示对抗样本翻转概率，q表示对抗样本的旋转概率，TFy为翻转后的样本，TLy表示旋转后的样本；使用对抗性度量指标计算生成对抗样本的对抗性取值Adv，通过生成不同Adv的对抗性缺陷数据样本，输入至智能系统中，测试智能系统在不同对抗缺陷数据样本中的识别准确率，结合步骤一子步骤2定义的失效判据，记录失效数据；步骤3多样性、对抗性耦合的缺陷样本生成：1多样性缺陷样本的生成基于步骤二子步骤1的扩散模型生成的多样性缺陷样本，并通过样本多样性度量指标计算样本的多样性Div；2增加样本的对抗性在多样性样本的基础上，结合步骤二子步骤2提出的对抗性缺陷样本生成方法，生成多样性、对抗性耦合的测试样本，并结合样本对抗性度量指标，计算样本的对抗性Adv；将生成的多样性、对抗性耦合的缺陷样本，输入至智能系统中，测试智能系统在耦合缺陷数据样本中的识别准确率，结合步骤一子步骤2定义的失效判据，记录失效数据；步骤三：基于Grad-CAM的可视化失效机理分析；通过Grad-CAM从智能系统输出结果开始进行反向传播，获得智能系统中全连接层前一特征层的梯度信息，并求得该层级下各个特征图的平均梯度，其表达式为： 式中，为第c个输出反向传播中第k个通道特征图的平均梯度；Z为特征图像像素点总个数；yc为智能系统输出的最大类输出值；A表示激活矩阵，i和j分别为激活矩阵中的行索引和列索引，k表示通道索引，为第k个通道对应的特征图；将各个通道特征图平均梯度作为权重乘以各个通道特征图并叠加，再剔除小于0的负值以消除其他类别的影响，得到网络用于分类的重点区域，其表达式为： 式中，表示Grad-CAM所得到的类激活矩阵；ReLU为用于剔除负值的非线性激活函数；通过将与原始输入图像相乘并进行加权求和，得到智能系统可视化的目标识别结果，其表达式为： 其中，X为通过神经网络的预处理层传递的输入图像数据；从Grad-CAM生成的图像中观察随着测试样本多样性、对抗性的变化，其关注区域的变化，解释智能系统错误识别原因；步骤四：基于代理模型构建智能系统失效机理模型；步骤1基于代理模型的智能系统单因素失效机理模型构建：将步骤二子步骤1和子步骤2记录的失效数据，按多样性、多抗性取值从小到大的顺序排列，记为：Div1,ACC1,Div2,ACC2,……,Divm,ACCnum_1Adv1,ACC1,Adv2,ACC2,……,Advm,ACCnum_2其中，Divi,ACCii∈1,2,…,num_1表示样本多样性取值及在该多样性样本下，智能系统对应的识别准确率，num_1表示具有不同多样性的缺陷数据集个数，Advi,ACCii∈1,2,…,num_2表示样本对抗性指标及在该对抗性样本下智能系统对应的识别准确率，mum_2表示具有不同对抗性的缺陷数据集个数；使用失效数据，构建基于多项式拟合的代理模型，得到智能系统的单因素机理模型，表示为 其中，in为样本多样性Doiv或样本对抗性Adv；表示单因素机理模型，是关于in的函数；n表示失效数据的数量；aii∈1,2,…,n表示多项式中的参数，使用最小二乘法求解该模型，其式为： 其中，δa0,…,an表示模型与失效数据之间差异的总和，fi表示第i个失效数据点的实际值；求解a0,a1,…,an的值，使得δ的值最小；对函数两边求导，得到： …… 得出正规方程组： 求解方程组，计算a0,a1,…,an的值，得到智能系统的单因素失效机理模型步骤2基于神经网络的智能系统多因素失效机理模型构建将步骤二子步骤3中记录的失效数据，按照多样性取值从小到大的顺序排列，记为：Div1,Adv1,ACC1,Div2,Adv2,ACC2,……,Divz,Advz,ACCz其中，z为失效数据数量；基于测试得到的失效数据，结合深度神经网络，构建智能系统的多因素耦合下的失效机理模型，表示为：Φ＝gDivi,Advi,ACCi；θ+εi其中，g·表示深度神经网络模型，Divi,Advi,ACCi为智能系统失效数据，θ表示神经网络参数，εi为误差项，Φ表示多因素机理模型；使用智能系统失效数据，通过最小化损失函数来优化网络参数，其用公式表示为： 其中，Lmin表示损失函数，ACCj表示多样性、对抗性取值分别为Divj,Advj的第j个失效数据对应的智能系统识别准确率，Φj表示在样本多样性、多样性取值分别为Divj,Advj时多因素机理模型预测的智能系统识别准确率；经过训练获得最优的网络参数，得到智能系统的多因素耦合失效机理Φ。

全文数据：

权利要求：

百度查询： 北京航空航天大学 一种基于缺陷样本生成的智能系统推理演进失效机理分析方法