买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京邮电大学

摘要：本发明是一种基于LDA主题特征的日志异常检测方法。该方法包含模型训练和异常检测两个阶段。在模型训练阶段，利用日志解析器将系统日志解析为日志模板集合和日志三元组集合，日志模板集合用以训练LDA模型，得到日志模板主题分类模型；利用LDA‑CM模型将日志三元组转换为进程日志模板主题，进而利用滑动窗口机制构造训练样本，最后将训练样本输入LSTM模型，训练生成日志异常检测模型。在异常检测阶段，将待检测的进程日志转换为对应的模板主题序列，然后输入LSTM‑ADM模型，实现针对进程日志的异常检测，本发明能够更加准确的学习日志间的语义关系特征以及更有效地通过非结构化的日志记录检测出进程或系统的异常行为。

主权项：1.一种基于LDA主题特征的日志异常检测方法，其特征在于：所述日志异常检测方法包括如下步骤：步骤1、模型训练：在所述模型训练阶段，首先利用日志解析器将系统日志解析为日志模板集合和日志三元组集合，日志模板集合用以训练LDA模型，得到日志模板主题分类模型LDA-CM；然后，利用LDA-CM模型将日志三元组转换为进程日志模板主题，进而利用滑动窗口机制构造训练样本，最后将训练样本输入LSTM模型，训练生成日志异常检测模型LSTM-ADM；步骤2、异常检测：在所述异常检测阶段，首先将待检测的进程日志转换为对应的模板主题序列，然后输入步骤1中的LSTM-ADM模型，实现针对进程日志的异常检测；其中，所述步骤1模型训练具体包括如下步骤：步骤1-1：获取系统日志数据L＝{log1,log2,…,logn}，对应进程集合设为P＝{p1,p2,…,pf}，L由P中进程产生，使用日志解析器解析对L中的日志进行处理，生成日志模板集合K＝{k1,k2,…,km}以及与L对应的日志三元组集合D＝{d1,d2,…,dn}，其中di为logi对应的日志三元组k,pid,ts，k为日志模板，pid为进程标识符，ts为日志产生的时间戳；步骤1-2：对日志模板集合K进行预处理，将预处理数据输入预设主题集合为T＝{t1,t2,…,tr}的LDA模型，训练生成基于LDA的日志模板主题分类模型LDA-CM；步骤1-3：初始化日志模板主题映射字典TD，使用步骤1-2.生成的LDA-CM模型计算日志模板集合K中每一个日志模板ki的主题概率分布向量Θi，Θi的维度等于T中主题的数量，Θi[j]表示ki属于主题tj的概率，然后，获取Θi中的最大概率值对应的主题tx，将映射{ki→tx}添加到TD中；步骤1-4：根据应进程集合P中的进程，对日志三元组集合D进行处理，并利用日志模板主题映射字典TD建立应进程集合P中各进程对应的日志模板主题序列，构成的序列集合记为S＝{S1,S2,…,Sf}；步骤1-5：利用滑动窗口机制，对步骤1-4构成的序列集合S中的每个进程pi的日志模板主题序列Si进行处理，生成训练样本集合TP；步骤1-6：利用步骤1-5中生成的训练样本集合TP中的训练样本训练LSTM模型，生成基于LSTM的进程日志异常检测模型LSTM-ADM。

全文数据：

权利要求：

百度查询： 南京邮电大学 一种基于LDA主题特征的日志异常检测方法