龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
摘要：本发明公开一种优化跨域数据编织计算效能的数据加速处理方法及系统，涉及大数据处理与分析技术领域，针对当前跨域数据编织计算效率低的问题，采用方案：在数据采集环节构建分布式的数据采集架构，以通过优化参数和配置各节点数据采集策略实现对原始数据的定时采集或触发采集；在数据预处理环节搭建数据压缩器，以对采集的原始数据进行数据压缩，并输出到数据编织引擎；在数据协同计算环节构建数据加速引擎，以优化数据在数据编织引擎的存储和访问路径；在数据资源调度环节构建智能调度模型，以根据计算任务的优先级、资源可用性和网络带宽，动态调整计算任务的调度策略，生成调度方案。本发明可以提升跨域数据编织过程的计算效率与传输速度。
主权项：1.一种优化跨域数据编织计算效能的数据加速处理方法，其特征在于，包括如下步骤：S1、在数据采集环节，构建分布式的数据采集架构，所述分布式的数据采集架构采用分布式架构的FLink集群，通过优化TaskManager参数和配置各节点数据采集策略，实现对原始数据的定时采集或触发采集；S2、在数据预处理环节，搭建数据压缩器，所述数据压缩器采用Gzip作为数据压缩算法，对通过Flink集群采集到的原始数据进行数据压缩，并将压缩后的数据输出到Trino引擎中；S3、在数据协同计算环节，构建数据加速引擎，所述数据加速引擎采用数据缓存视图和自适应物化加速两种方式，优化数据在Trino引擎中的存储和访问路径，提升数据协同计算效率；S4、在数据资源调度环节，构建智能调度模型，所述智能调度模型根据计算任务的优先级、资源可用性和网络带宽，动态调整计算任务的调度策略，生成调度方案，随后将生成的调度方案转化为具体的执行指令，并传输给对应计算资源池中进行协同计算处理，实现计算资源的合理分配和高效利用。
全文数据：
权利要求：
百度查询： 浪潮软件科技有限公司 优化跨域数据编织计算效能的数据加速处理方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号