买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉同济大学申请的专利基于预训练BERT句向量与Informer-encoder的日志异常检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116340039B 。

龙图腾网通过国家知识产权局官网在2025-09-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310208131.8，技术领域涉及：G06F11/07；该发明授权基于预训练BERT句向量与Informer-encoder的日志异常检测方法是由杜庆峰;赵亮;韩永琦设计研发完成，并于2023-03-03向国家知识产权局提交的专利申请。

本基于预训练BERT句向量与Informer-encoder的日志异常检测方法在说明书摘要公布了：本发明涉及一种基于预训练BERT句向量与Informer‑encoder的日志异常检测方法，该方法包括以下步骤：步骤S1、获取原始日志数据并进行预处理，得到划分会话后的日志模板；步骤S2、对日志模板进行基于预训练BERT句向量的语义向量化；步骤S3、构建基于Informer‑encoder的异常检测模型，并采用经过S1～S2处理的正常日志数据对异常检测模型进行训练；步骤S4、将待检测的日志数据按照步骤S1～S2处理后，采用训练后的异常检测模型进行日志异常检测。与现有技术相比，本发明的方法降低模型训练的时空复杂度，减少模型的训练成本，同时，提升异常检测方法的准确度。

本发明授权基于预训练BERT句向量与Informer-encoder的日志异常检测方法在权利要求书中公布了：1.一种基于预训练BERT句向量与Informer-encoder的日志异常检测方法，其特征在于，该方法包括以下步骤： 步骤S1、获取原始日志数据并进行预处理，得到划分会话后的日志模板； 步骤S2、对日志模板进行基于预训练BERT句向量的语义向量化； 步骤S3、构建基于Informer-encoder的异常检测模型，并采用经过S1～S2处理的正常日志数据对异常检测模型进行训练； 步骤S4、将待检测的日志数据按照步骤S1～S2处理后，采用训练后的异常检测模型进行日志异常检测； 所述基于Informer-encoder的异常检测模型包括依次连接的Embedding层、注意力层、残差连接与层归一化模块、前馈层、残差连接与层归一化模块和线性层；所述异常检测模型的输入为步骤S2中BERT预训练得到的会话矩阵，输出为下一个日志模版的概率； 所述步骤S3包括以下子步骤： 步骤S31、将步骤S2中BERT预训练得到的会话矩阵输入至Embedding层； 步骤S32、设定固定长度的滑动窗口，在会话矩阵上滑动，将每个窗口内的向量构建为输入矩阵X，窗口外下一个日志模板的类别为该窗口的训练标签； 步骤S33、通过参数矩阵将输入矩阵X转化为查询queryQ、键queryK和值queryV，计算点积注意力，表达式为： 式中，Q＝XWq、K＝XWk、dx为向量的特征维度、d为预先设定的隐层特征超参数； 步骤S34、设定s个头并进行拼接，每个头对应于一组查询queryQ、键queryK和值queryV；s个头通过concat操作和线性变换转化为与输入矩阵维度相同的注意力矩阵，表达式为： 式中，head为头，Watt为线性变换的参数矩阵； 步骤S35、采用残差结构优化多头注意力，优化后的多头注意力表达式为： [X]att＝LNX+DropoutXatt 式中，LN为层归一化运算，Dropout为失活运算； 步骤S36、对优化后的多头注意力进行蒸馏，然后采用残差结构进行优化，经过n层后，得到最后的输出Xf；其中，蒸馏过程表达式为： 式中，[Xj]att为第j层的多头注意力，Conv1d代表一维卷积操作，Relu代表激活函数，MaxPooling表示最大池化过程； 步骤S37、由于Xf中最后一个元素对应于最后一个会话的位置，用于预测下一个会话，选定最后一个元素，并通过线性层和sigmoid函数计算下一个模板类别的概率，表达式为： 式中，为Xf中最后一个元素，W为线性层的参数矩阵，b为线性层的偏置； 通过不断训练降低损失函数学习到正常日志会话中模板的序列模式。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人同济大学，其通讯地址为：200092 上海市杨浦区四平路1239号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。