买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华北电力大学

摘要：本发明提供一种基于BERTBidirectionalEncoderRepresentationsfromTransformers的电网故障诊断方法。所述方法将电网故障诊断转化为一个自然语言处理问题，其中包括：采集告警信息样本，对样本进行切词预处理；对告警信息文本嵌入语义特征、句特征以及位置特征，将三大特征相加构成模型输入向量；构建基于BERT的电网故障诊断模型，利用Transformer编码器中的注意力机制，自主学习告警信息文本中的故障特征，利用解码器输出故障诊断结果。此方法通过输入的告警信息文本直接输出有关故障特征的概要性描述文本，实现了端到端的电网故障诊断。

主权项：1.一种基于BERT的电网故障诊断方法，输入为电网的告警信息文本，输出为有关故障特征的概要性描述文本，实现了端到端的电网故障诊断，其特征在于，所述方法包括：S1、采集电网故障时的告警信息文本；包括：S11：电网发生故障后，与故障设备相关的保护和开关动作信息将实时上传至SCADA系统；S12：SCADA系统接收装置故障、开关机构弹簧的告警信息，按照时间先后顺序进行记录，生成故障时的告警信息集合；S13：采集的告警信息集合构建电网故障诊断模型的数据样本集；S2、对告警信息文本进行切词处理；包括：基于jieba切词技术，并补充电力领域相关的命名实体，构建电网故障诊断词典，由此对告警信息文本进行切词处理；S3、对告警信息文本嵌入语义特征、句特征以及位置特征，将三大特征相加构成模型输入向量；对于输入的告警信息样本，经过特征嵌入，将三种嵌入向量加和，即语义嵌入向量、句嵌入向量和位置嵌入向量相加得到词嵌入矩阵输入BERT模型；包括：S31：采用Word2vec模型，将切词结果利用词的上下文信息，生成表示词语间关联关系的低维词向量，即语义特征向量；S32：将告警信息文本的奇数句文本和偶数句文本分别嵌入EA和EB以学习相邻告警信息语句的逻辑关系，EA赋值为1，EB赋值为0；S33：对切词结果进行位置编码，以确定每个词语的位置信息，学习各词语的时序特征和词语间的相关性；S4、构建基于BERT的电网故障诊断模型；所述BERT模型的语义提取层是一个以Transformer编码器为基本单元的多层双向解码器，包括注意力机制、层标准化和残差连接以及前馈神经网络三个部分；S5、将所述输入向量输入电网故障诊断模型，对电网故障进行诊断，并输出诊断结果；所述注意力机制输入为词嵌入矩阵，由S3所得词嵌入矩阵乘以三个矩阵WQ、WK、WV得到Query、Key、Value三个矩阵，记为Q、K、V，其维度分别为N×dk，N×dk，N×dv，Q和K的维度相同；Q、K、V的计算公式：Q＝LinearX＝XWQK＝LinearX＝XWKV＝LinearX＝XWV式中：Linear是线性映射；X是词嵌入矩阵；WQ、WK、WV是权重矩阵；所述注意力机制的输出为： 式中：是将注意力机制转换为标准正态分布，dk为惩罚因子避免QKT过大；Softmax是归一化，指对文本中每个单词与其他单词的注意力权重求和；层标准化是通过归一化神经网络中的隐藏层来加速标准正态分布的模型训练，从而加速模型收敛，其计算公式为： 式中：xij为词嵌入矩阵中的每一个向量，μi是所述矩阵行的平均值；σi2是所述矩阵行的方差；m为矩阵行数；⊙是矩阵中元素的乘法；α和β是模型训练参数；ε用于防止分母为0；前馈神经网络由2层线性映射形成，由ReLU激活函数激活，最后将经过归一化的数据输入前馈神经网络，其计算公式为Xhidden＝ReLULinearX。

全文数据：

权利要求：

百度查询： 华北电力大学 一种基于BERT的电网故障诊断方法