买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：联通(江苏)产业互联网有限公司

摘要：本发明公开了一种基于Spring框架的大数据日志分析的方法和系统，属于信息安全技术领域，该方法包括如下步骤：日志统一采集，在不同的Spring框架中，在POM文件中新增logback依赖，同时在各个服务的resources目录下新建logback.xml文件。本发明针对不同的Spring框架的内部WEB服务提供了统一的管理平台；从离线和实时的维度对数据进行分析和挖掘，保证了数据的准确性和一致性；提供了从时间、服务名称、日志层次，关键字搜索功能，使开发、运维人员快速定位生产环境的问题。

主权项：1.一种基于Spring框架的大数据日志分析的方法，其特征在于，该方法包括如下步骤：步骤1：日志统一采集，在不同的Spring框架中，在POM文件中新增logback依赖，同时在各个服务的resources目录下新建logback.xml文件；步骤2：Logstash数据入ES，在logstashconfig目录下面新建trace-logging.conf文件，将实时的日志存入ES，后续通过Flink进行流处理；步骤3：Flume数据存HDFS，在Flumeconf目录下新建properties文件，将离线文件存储在HDFS后，后续可以通过HIVE、SPARK进行数据分析和挖掘；步骤4：Kibana接入ES，修改kibana.xml，将离线实时数据已全接入大数据平台中；在步骤1中，所述新增logback依赖如下：dependencygroupIdnet.logstash.logbackgroupidartifactIdlogstash-logback-encoderartifactIdversion4.11versiondependency在步骤1中，在各个服务的resources目录下新建logback.xml文件如 在步骤2中，新建trace-logging.conf文件如下： 所述9601是logstash接收数据的端口，在logback必须配置此端口，codec＝json_lines是一个json解析器，接收json的数据，需要安装logstash-codec-json_lines插件；ouputelasticsearch指向我们安装的集群的ip地址和端口；stdout会打印收到的消息；所述Flume数据采集架构为WebServer.依次经过到Source、Channel、Sink和HDFS；在步骤3中，Flumeconf目录下新建.properties文件如下：#agent1nameagent1.sourcessource1agent1.sinks＝sink1agent1.channels＝channel1#SpoolingDirectory#setsource1agent1.sources.source1.type＝spooldiragent1.sources.source1.spoolDir＝usrappflumelogdirlogdfsagent1.sources.source1.channels:channel1agent1.sources.source1.fileHeader＝falseagent1.sources.source1.interceptors＝i1.agent1.sources.source1.interceptors.i1.type＝timestamp#setsink1agent1.sinks.sink1.type＝hdfsagent1.sinks.sink1.hdfs.path＝useryuhuiflumeagent1.sinks.sink1.hdfs.fileTypeDataStreamagent1.sinks.sink1.hdfs.writeFormat＝TEXTagent1.sinks.sink1.hdfs.rollInterval＝1agent1.sinks.sink1.channel-channel1agent1.sinks.sink1.hdfs.filePrefix％Y-％m-％d#setchannel1agent1.channels.channel1.typefileagent1.channels.channel1.checkpointDir-usrappflumelogdirlogdfstmppointagent1.channels.channe11.dataDirs-usrappflumelogdirlogdfstmp在步骤4中，修改kibana.yml如下：server.port:5601##服务端口server.host:"0.0.0.0"elasticsearch.hosts:["http:11.1.5.69:9200"，"http:11.1.5.70:9200"，"http:11.1.5.71:9200"]。

全文数据：

权利要求：

百度查询： 联通(江苏)产业互联网有限公司 一种基于Spring框架的大数据日志分析的方法和系统