买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：君之福(北京)科技有限公司

摘要：本发明属于职业规划技术领域，具体提供一种基于大数据的退役军人职业规划方法及系统，其中方法包括：根据职业分类词库找到合适军人岗位数据，并构建自有知识图谱；使用Scrapy分布式爬虫抓取招聘网站数据；根据知识图谱清洗所述招聘网站数据使岗位归属到具体行业并展示。该方案通过人工智能及大数据技术，获取并分析全国各地就业市场中适合退役军人的千万级岗位数据，以便退役军人清晰了解岗位需求，正确评估自身能力，作出学历教育、技能培训或者就业创业选择。通过全面采用计算机科学技术，方便对企业资源进行统计管理，从而为每年退役军人提供极具竞争力的就业机会，大力的推动了社会政治经济的发展，智能化还能减少人为的失误，准确方便。

主权项：1.一种基于大数据的退役军人职业规划方法，其特征在于，包括以下步骤：S1，根据职业分类词库找到合适军人岗位数据，并构建自有知识图谱；S2，使用Scrapy分布式爬虫抓取招聘网站数据；S3，根据知识图谱清洗所述招聘网站数据使岗位归属到具体行业并展示；所述S3具体还包括：设置一个10～30秒的停歇时间，并引入代理，接着浏览器能够执行服务器返回数据中的JavaScript代码，从而使得能够获取到想要的数据，引入BeautifulSoup解析网页数据,分析网页数据找到数据的接口地址，抓取数据灌入kafka消息队列；所述S3具体包括：使用Maxwell数据同步工具将业务数据同步到kafka消息队列中，使用Flume清洗工具消费kafka消息队列中的数据，根据知识图谱清洗数据使岗位归属到具体行业、格式化具体数据并落盘，以及将数据再次发送到kafka消息队列供用户查阅；所述S3中消费kafka消息队列中的数据具体包括：将数据放入到Kafka对应的主题，接下来在DWD层对数据进行动态分流，将不同的流写入到对应的Kafka的Topic中，进行动态分流；所述S3具体包括：首先，通过读取配置表信息进行分流的，通过FlinkCDC读取配置表信息，判断数据是放到主流中写到kafka中的事实数据还是放到侧输出流中要写到kudu的维度数据；然后，在DWM层做聚合，为DWS层的一些聚合指标的获取提供服务并减少重复计算，在维度关联时，去kudu里去查询维度表，在这里进行维度查询的优化；再然后，将聚合统计好的指标写入到Clinkhouse数据库，使用ADS层作为可视化工具提供一个数据服务的接口，由所述接口来获取ClickHouse数据库中的数据，并且提供给可视化工具；最后，使用SpringBoot进行数据接口的编写，实现读取ClickHouse数据库并以可视化的方式展示到easyv数据大屏供用户查阅。

全文数据：

权利要求：

百度查询： 君之福(北京)科技有限公司 一种基于大数据的退役军人职业规划方法及系统