买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浪潮云信息技术股份公司

摘要：本发明公开了一种基于Elasticsearch的Hive二级全文索引技术方法及系统，属于数据全文索引技术领域；所述的方法具体步骤包括：S1通过CREATEFULLINDEX对Hive原始数据表创建全文索引表；S2将原始表INSERT、UPDATE、DELETE与ES中的全文索引表同步操作；S3使用全文索引条件查询原始表；S4删除全文索引；S5删除原始表；本二级全文索引方案可达到其发明目的所阐述的效果，可应用于全文索引需求较强的场景，如日志存储系统、个人信息融合系统等；基于事务日志技术确保原始表和索引表的数据强一致性，可使其更加可靠。同时Hive和ES均为高可用系统，使之在整体上高可用；同时这一技术方法也将Hadoop生态和Elastic软件栈进行深度融合，这一是较大突破。

主权项：1.一种基于Elasticsearch的Hive二级全文索引技术方法，其特征是所述的方法具体步骤包括：S1通过CREATEFULLINDEX对Hive原始数据表创建全文索引表；S2将原始表INSERT、UPDATE、DELETE与ES中的全文索引表同步操作；S3使用全文索引条件查询原始表；S4删除全文索引；S5删除原始表；所述S1通过CREATEFULLINDEX对Hive原始数据表创建全文索引表的具体步骤包括：S101增加DDL关键字FULL；S102对CREATEFULLINDEX进行语句扫描、词法分析和语法检查；S103检查通过后根据DDL元数据信息在ES引擎中创建对应的索引表；所述S2将原始表INSERT、UPDATE、DELETE与ES中的全文索引表同步操作的具体步骤包括：S201记录本次操作的事务日志；S202INSERT、UPDATE、DELETE在原始表上操作，成功向下执行，失败则返回S201；S203INSERT、UPDATE、DELETE在索引表上操作，成功执行则提交事务，失败则根据事务日志回滚事务；所述S3使用全文索引条件查询原始表的具体步骤包括：S301将Hivedriver语法解析成抽象语法树；S302获取语法树查询表达式子句、解析restful查询部分；S303通过DSLBuilder创建restful查询语句并下推至Elasticsearch引擎；S304利用Hivedriver将ES引擎返回的结果集合作为原始表的RowKey集合去查询；S305利用Hivedriver将结果集映射为关系表并返回给用户。

全文数据：

权利要求：

百度查询： 浪潮云信息技术股份公司 一种基于Elasticsearch的Hive二级全文索引技术方法及系统