首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

海量数据快速检索服务构建方法、系统、终端及存储介质 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:济南浪潮数据技术有限公司

摘要:本发明提供一种海量数据快速检索服务构建方法、系统、终端及存储介质,包括:将关系型数据库的读权限转移至搜索服务器;监控搜索服务器的查询业务,获取热点检索词,缓存热点检索词的目标数据;利用数据仓库工具创建临时表对全量索引的关联表进行合并,基于所述临时表更新全量索引内容,并将更新的全量索引导入搜索服务器;通过监听关系型数据库的日志文件获取所述关系型数据库的更新数据,将所述更新数据同步更新至搜索服务器的索引。本发明实现了海量数据实时秒级查询,为用户带来了良好体验,显著提升了客户价值,提升了整体业务运作效率,降低了企业运维成本,提升了系统稳定性,进而创造了更多价值。

主权项:1.一种海量数据快速检索服务构建方法,其特征在于,包括:将关系型数据库的读权限转移至搜索服务器;监控搜索服务器的查询业务,获取热点检索词,缓存热点检索词的目标数据;利用数据仓库工具创建临时表对全量索引的关联表进行合并,基于所述临时表更新全量索引内容,并将更新的全量索引导入搜索服务器;通过监听关系型数据库的日志文件获取所述关系型数据库的更新数据,将所述更新数据同步更新至搜索服务器的索引;将关系型数据库的读权限转移至搜索服务器,包括:授予关系型数据库表插入权限、更新权限和删除权限;授权搜索数据库对关系型数据库的读权限;监控搜索服务器的查询业务,获取热点检索词,缓存热点检索词的目标数据,包括:指定第一期间、第二期间、第一刷新周期和第二刷新周期;根据第一刷新周期定期采集在所述第一期间之内的,热点排序在指定位数范围内的检索词作为第一检索词组,将第一检索词组的目标数据进行缓存;根据第二刷新周期定期采集在所述第二期间之内的,热点排序在指定位数范围内的检索词作为第二检索词组,将第二检索词组的目标数据进行缓存;利用数据仓库工具创建临时表对全量索引的关联表进行合并,基于所述临时表更新全量索引内容,并将更新的全量索引导入搜索服务器,包括:利用数据迁移工具将关系型数据库中的数据同步至数据仓库工具;利用数据仓库工具将互相关联的表数据合并生成临时表,并将临时表保存至分布式存储系统,以使索引处理任务从分布式存储系统读取临时表的数据并将读取的数据写入搜索服务器;利用数据仓库工具创建临时表对全量索引的关联表进行合并,基于所述临时表更新全量索引内容,并将更新的全量索引导入搜索服务器,包括:定期采集系统时间,若当前系统时间在设定的更新时段内,则执行对全量索引的更新;通过监听关系型数据库的日志文件获取所述关系型数据库的更新数据,将所述更新数据同步更新至搜索服务器的索引,包括:通过启用关系型服务器的监控日志机制,将关系型数据库的数据变更写入日志文件;监听关系型数据库的日志文件,读取日志文件的二进制事件,通过解析二进制事件获取更新数据,并将被更新数据转化为业务对象写入消息队列;通过设置索引更新程序订阅所述消息队列,将更新数据写入搜索服务器索引。

全文数据:

权利要求:

百度查询: 济南浪潮数据技术有限公司 海量数据快速检索服务构建方法、系统、终端及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。