买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司

摘要：本发明公开了数据路由的方法和装置，涉及计算机技术技术领域。该方法的一具体实施方式包括如下步骤：A.获取待路由数据的信息；B.根据待路由数据的信息和第一层面的指标数据，在第一层面进行数据路由，确定与待路由数据对应的子分区；C.将所述子分区设置为新的第一层面，重复步骤B直到满足指定条件。该实施方式克服了数据路由存储的过程为随机存储，数据分布不均衡的技术问题，避免用户在查询数据没有任何规则、需要扫描所有分片数据源的数据、导致高消耗磁盘IO、查询性能低的缺陷，进而达到了后续层面可扩展或灵活配置、数据源存储量更大，并且根据路由结果查询数据，减少扫描数量，提高查询效率的有益效果。

主权项：1.一种数据路由的方法，其特征在于，包括：A.获取待路由数据的信息；B.根据待路由数据的信息和第一层面的指标数据，在第一层面进行数据路由，确定与待路由数据对应的子分区；C.将所述子分区设置为新的第一层面，重复步骤B直到满足指定条件；所述待路由数据的信息包括：与每个层面对应的字段值；所述指标数据包括：项值；在步骤B中包括：根据与第一层面对应的字段值与该层面的项值确定该层面对应的子分区；所述满足指定条件包括，完成固定数目层面的数据路由和或新的第一层面没有子分区；所述方法还包括：当待路由数据路由到的指定位置在数据源中时，根据分片数确定项值；当待路由数据路由到的指定位置在数据库中时，根据分区数确定项值。

全文数据：数据路由的方法和装置技术领域本发明涉及计算机技术领域，尤其涉及一种数据路由的方法和装置。背景技术将待存储的海量数据分配到计算机存储设备上的过程，或者查阅记录在某存储位置上的数据的过程称为数据路由DataRouting。现有技术采用java硬编码随机存储数据，将数据存储到数据源。在实现本发明过程中，发明人发现现有技术中至少存在如下问题：1.数据路由存储的过程为随机存储，会导致数据分布不均衡。2.在随机存储的数据量增大，用户在查询数据时，没有任何规则，则需要查询所有分片数据源的数据，会导致高消耗磁盘IO，并且查询性能低。发明内容有鉴于此，本发明实施例提供一种数据路由的方法和装置，将数据根据不同层面存储或查询，能够均匀存储数据，克服高消耗磁盘IO、查询性能低的缺陷，并且达到后期层面可扩展的效果。为实现上述目的，根据本发明实施例的一个方面，提供了一种数据路由的方法，包括：A.获取待路由数据的信息；B.根据待路由数据的信息和在第一层面的指标数据，第一层面进行数据路由，确定与待路由数据对应的子分区；C.将所述子分区设置为新的第一层面，重复步骤B直到满足指定条件。优选地，所述满足指定条件包括，完成固定数目层面的数据路由和或新的第一层面没有子分区。优选地，所述待路由数据的信息包括：与每个层面对应的字段值；所述层面指标数据包括：项值；在步骤B中包括：根据与第一层面对应的字段值与该层面的项值确定该层面对应的子分区。优选地，所述数据路由的方式为哈希路由。优选地，当待路由数据路由到的指定位置在数据源中时，还包括：根据分片数确定项值；当待路由数据路由到的指定位置在数据库中时，还包括：根据分区数确定项值。根据本发明实施例的再一个方面，提供一种数据路由的装置，包括：数据信息获取模块，用于步骤A获取待路由数据的信息；路由解析模块，用于步骤B根据待路由数据的信息和第一层面的指标数据，在第一层面进行数据路由，确定与待路由数据对应的子分区；还用于步骤C将所述子分区设置为新的第一层面，重复步骤B直到满足指定条件。优选地，所述满足指定条件包括，完成固定数目层面的数据路由和或新的第一层面没有子分区。优选地，所述待路由数据的信息包括：与每个层面对应的字段值；所述层面指标数据包括：项值；在步骤B中包括：根据与第一层面对应的字段值与该层面的项值确定该层面对应的子分区。优选地，所述数据路由的方式为哈希路由。优选地，当待路由数据路由到的指定位置在数据源中时，还包括：根据分片数确定项值；当待路由数据路由到的指定位置在数据库中时，还包括：根据分区数确定项值。根据本发明实施例的另一个方面，提供一种数据路由的电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现数据路由的方法。根据本发明实施例的另一个方面，提供一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现数据路由的方法。上述发明中的一个实施例具有如下优点或有益效果：1.因为采用多个层面路由技术手段，所以克服了数据路由存储的过程为随机存储的缺陷，并且达到了后续层面可扩展或灵活配置的技术效果。2.因为采用将每条数据经过多个层面路由，将数据存储在相应的数据源层面上，克服数据分布不均衡的技术问题，进而达到数据源存储量更大的技术效果。3.因为采用多个层面路由的方法存储数据，克服避免用户在查询数据没有任何规则、需要扫描所有分片数据源的数据、导致高消耗磁盘IO输入输出口、查询性能低的缺陷，进而达到根据路由结果查询数据，减少扫描数量，提高查询效率的有益效果。上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。附图说明附图用于更好地理解本发明，不构成对本发明的不当限定。其中：图1是根据本发明实施例的数据路由的方法的主要流程的示意图；图2是根据本发明实施例的数据路由的装置的主要模块的示意图；图3是根据本发明实施例的数据路由的装置的具体实施例的示意图；图4是本发明实施例可以应用于其中的示例性系统架构图；图5是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。具体实施方式以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。图1是根据本发明实施例的数据路由的方法的主要流程的示意图，如图1所示，包括：A.获取待路由数据的信息；B.根据待路由数据的信息和在第一层面的指标数据，第一层面进行数据路由，确定与待路由数据对应的子分区；C.将所述子分区设置为新的第一层面，重复步骤B直到满足指定条件。本发明是采用对多个层面数据路由的方法对待路由数据进行数据路由，达到能够均匀存储在预存储的位置并且方便查询、大大提高存储和查询效率的有益效果。数据路由的方法分为数据存储的方法和数据查询的方法两部分内容：数据存储的方法是根据待路由数据的信息，通过一系列算法找到需存储的位置，从而可以将数据存储到对应的位置；数据查询的方法是根据待查询数据的信息，通过与数据存储对应的算法找到数据存储的位置，从而可以查询相应位置上的数据。数据查询的方式是由数据存储的方式决定的，所以数据存储和数据查询的方法是相同的，在本实施例中，将存储与查询的方法合并为数据路由的方法进行说明。本方法的实施例能够克服由于现有技术数据路由是通过随机无规律存储而导致的数据部分布不均匀、而且在查询时需要扫描所有分片的数据源数据、从而导致高消耗磁盘IO、导致查询性能低的缺陷。在本实施例中，每次数据路由时按照预先设定好的多个层面的指标数据逐层面路由。根据一定标准对路由位置进行划分，从而得到该标准划分后的位置集合称为一个层面。根据划分路由位置的标准不同，可以得到不同的层面。其中层面的划分标准诸如但不限于：依据业务特性进行扩展和或根据物理存储器件的分布进行划分。在本实施例中，将路由待路由数据的多个层面组成的集合称为层面集合。将待路由数据根据预设的层面集合中的第一层面的指标数据进行数据路由。根据得到的结果，即可确定与待路由数据在第一层面上的对应的子分区。将得到的子分区设置为新的第一层面，进行迭代数据路由，直到满足迭代的指定条件，停止继续迭代。当待路由数据的信息完成层面集合中所有层面的数据路由后，将待路由数据路由到新的没有子分区的层面上。采用此步骤避免了现有技术因随机存储导致查询时需要占用大量磁盘IO，并且查询性能差的技术缺陷，从而达到将数据有规律且均匀的存放在存储设备中，在查询数据时可以精确定位的有益效果。优选地，所述满足指定条件包括，完成固定数目层面的数据路由和或新的第一层面没有子分区。在判断是否完成层面集合中所有层面路由时，可选地，依据判断待路由数据所经历的层面个数与层面集合中的层面个数是否相同来确定是否完成路由。当判断结果为相同时，即可认为完成所有的层面路由。又因为数据路由所迭代的层面是按照多个层面中层面的顺序依次路由的，故也可以依据判断迭代的新的第一层面是否有子分区来判断是否完成数据路由。优选地，所述待路由数据的信息包括：与每个层面对应的字段值；所述层面指标数据包括：项值；在步骤B中包括：根据与第一层面对应的字段值与该层面的项值确定该层面对应的子分区。各个层面指标数据的设置可以方便待路由数据的信息在每一层面的路由，即当待路由数据的信息在某一层面路由时，利用该待路由数据的信息的字段值与所对应的该层面的项值进行路由。通过设置每个层面的指标数据，使得数据路由按照统一的算法存储，从而达到快速存储、易查询的有益效果。由于存储的目标数据需要依照一定的规则路由后存储或查询，从而达到均匀分布、实时查询的有益效果。在本实施例中选用字段值和项值进行数据路由的方式，以防止随机存储或查询产生需要依次扫描查询消耗磁盘IO、并且查询速度慢的缺陷，从而防止数据存储不均匀，进而达到实时查询数据的有益效果。优选地，所述数据路由的方式为哈希路由。本方法的实施例中，优选地通过哈希Hash路由将待路由数据通过哈希算法存放到待路由数据的信息路由后的位置。由于哈希路由是将任意长度的目标数据压缩在某一固定长度的函数，从而使得目标数据可以均匀存放在存储设备中。优选地，当待路由数据路由到的指定位置在数据源中时，还包括：根据分片数确定项值；当待路由数据路由到的指定位置在数据库中时，还包括：根据分区数确定项值。由于现有的经典存储设备的设置是分布式存储的，故在查询时，快速确定数据存储在哪个部分上是提高查询速度的优选步骤。当数据存储在数据源上时，即需要判断数据在哪个分片上。所以本方法的实施例要根据分片数确定项值，用于确定数据在该路由的分片。同理，当数据存储在数据库上时，则需要判断数据在哪个分区上，所以本方法的实施例要根据分区数确定项值，用于确定数据该路由的分区。如图2是根据本发明实施例的数据路由的装置的主要模块的示意如图2所示，提供了一种数据路由的装置200，包括：数据信息获取模块201，用于步骤A获取待路由数据的信息；路由解析模块202，用于步骤B根据待路由数据的信息和第一层面的指标数据，在第一层面进行数据路由，确定与待路由数据对应的子分区；还用于步骤C将所述子分区设置为新的第一层面，重复步骤B直到满足指定条件。数据信息获取模块201将获取到的待路由数据的信息传输到路由解析模块，并通过路由解析模块202中层面的指标数据进行迭代路由。通过路由解析模块的逐层路由，找到待路由数据应被路由到的位置。采用这两个模块的设置，使得数据根据不同层面路由，均匀的分布在存储器上，从而达到实时查询的有益效果。优选地，所述满足指定条件包括，完成固定数目层面的数据路由和或新的第一层面没有子分区。优选地，所述待路由数据的信息包括：与每个层面对应的字段值；所述层面指标数据包括：项值；在步骤B中包括：根据与第一层面对应的字段值与该层面的项值确定该层面对应的子分区。优选地，所述数据路由的方式为哈希路由。优选地，当待路由数据路由到的指定位置在数据源中时，还包括：根据分片数确定项值；当待路由数据路由到的指定位置在数据库中时，还包括：根据分区数确定项值。图3是根据本发明实施例的数据路由的装置的具体实施例的示意图。如图3所示，当本发明所述装置用于物流行业时，待路由数据为生产消息。生产消息采用消息队列技术通过异步的方式接收。存储生产消息的位置采用ElasticSearchES数据源，根据物理业务区域，可以划分为X个索引表，具体地，X的数值为7；根据分片划分，每个索引表可以划分为Y个分片，具体地，Y的数值为32个，则图中的第N层面路由即为第二层面路由。根据上述划分标准，可预先在路由解析模块中设置路由配置实体类和路由配置项文件。其中，路由配置实体类定义了路由用到的所有配置项属性；路由配置项文件中保存了路由配置实体类中定义的所有配置项属性的值，包括：每一层面的项值。本实施例中的两个层面的字段值分别为：区域编码和站点编码，项值对应在本具体实施例中的两个层面分别为：索引表数和分片数。在配置好路由配置实体类和路由配置项文件后，当数据路由时即可以根据路由执行器对数据进行路由。在层面需要添加、减少或改变时，可调整路由配置实体类和路由配置项文件，从而达到灵活配置的效果。在对生产消息有关层面的信息进行路由时，具体地，区域编码为737，索引表数的总数X为7，通过哈希路由便可将待路由数据的信息对应到编号为0-6内的一个索引表上，即为编号为2的索引表上。在此基础上，将编号为2的索引表设置为新的第一层面，获取站点编码为14695，分片的总数Y为32，通过哈希路由便可将待路由数据的信息对应到编号为0-31内的一个分片上，即为编号为7的分片上。将生产消息路由到ES数据源编号为2的索引表上的第7个分片上。查询生产消息数据的步骤与储存的步骤相同，也是将与层面数据有关的待查询数据的信息通过多个层面路由到储存所需信息的精确位置，从而进行查询该精确位置所对应的内容。图4示出了可以应用本发明实施例的数据路由方法或数据路由的装置的示例性系统架构400。如图4所示，系统架构400可以包括终端设备401、402、403，网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等仅为示例。终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。服务器405可以是提供各种服务的服务器，例如对用户利用终端设备401、402、403所浏览的购物类网站提供支持的后台管理服务器仅为示例。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果例如目标推送信息、产品信息--仅为示例反馈给终端设备。需要说明的是，本发明实施例所提供的数据路由方法一般由服务器405执行，相应地，数据路由装置一般设置于服务器405中。应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。下面参考图5，其示出了适于用来实现本发明实施例的终端设备的计算机系统500的结构示意图。图5示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。如图5所示，计算机系统500包括中央处理单元CPU501，其可以根据存储在只读存储器ROM502中的程序或者从存储部分508加载到随机访问存储器RAM503中的程序而执行各种适当的动作和处理。在RAM503中，还存储有系统500操作所需的各种程序和数据。CPU501、ROM502以及RAM503通过总线504彼此相连。输入输出IO接口505也连接至总线504。以下部件连接至IO接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管CRT、液晶显示器LCD等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至IO接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和或从可拆卸介质511被安装。在该计算机程序被中央处理单元CPU501执行时，执行本发明的系统中限定的上述功能。需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器RAM、只读存储器ROM、可擦式可编程只读存储器EPROM或闪存、光纤、便携式紧凑磁盘只读存储器CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括发送模块、获取模块、确定模块和第一处理模块。其中，这些模块的名称在某种情况下并不构成对该单元本身的限定，例如，发送模块还可以被描述为“向所连接的服务端发送图片获取请求的模块”。作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：A.获取待路由数据的信息；B对待路由数据的信息在第一层面的指标数据进行数据路由，确定与待路由数据对应的子分区；C.将所述子分区设置为新的第一层面，重复步骤B直到满足指定条件。根据本发明实施例的技术方案，从而达到如下有益效果：1.因为采用多个层面路由技术手段，所以克服了数据路由存储的过程为随机存储，并且达到了后续层面可扩展或灵活配置的技术效果。2.因为采用将每条数据经过多层面路由，将数据存储在相应的数据源层面上，克服数据分布不均衡技术问题，进而达到数据源存储量更大的技术效果。3.因为采用多个层面路由的方法存储数据，克服避免用户在查询数据没有任何规则、需要扫描所有分片数据源的数据、导致高消耗磁盘IO输入输出口、查询性能低的缺陷，进而达到根据路由结果查询数据，减少扫描数量，提高查询效率的有益效果。上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

权利要求：1.一种数据路由的方法，其特征在于，包括：A.获取待路由数据的信息；B.根据待路由数据的信息和第一层面的指标数据，在第一层面进行数据路由，确定与待路由数据对应的子分区；C.将所述子分区设置为新的第一层面，重复步骤B直到满足指定条件。2.如权利要求1所述方法，其特征在于，所述满足指定条件包括，完成固定数目层面的数据路由和或新的第一层面没有子分区。3.如权利要求1所述方法，其特征在于，所述待路由数据的信息包括：与每个层面对应的字段值；所述层面指标数据包括：项值；在步骤B中包括：根据与第一层面对应的字段值与该层面的项值确定该层面对应的子分区。4.如权利要求3所述方法，其特征在于，所述数据路由的方式为哈希路由。5.如权利要求3或4所述方法，其特征在于，当待路由数据路由到的指定位置在数据源中时，还包括：根据分片数确定项值；当待路由数据路由到的指定位置在数据库中时，还包括：根据分区数确定项值。6.一种数据路由的装置，其特征在于，包括：数据信息获取模块，用于步骤A获取待路由数据的信息；路由解析模块，用于步骤B根据待路由数据的信息和第一层面的指标数据，在第一层面进行数据路由，确定与待路由数据对应的子分区；还用于步骤C将所述子分区设置为新的第一层面，重复步骤B直到满足指定条件。7.如权利要求6所述方法，其特征在于，所述满足指定条件包括，完成固定数目层面的数据路由和或新的第一层面没有子分区。8.如权利要求6所述装置，其特征在于，所述待路由数据的信息包括：与每个层面对应的字段值；所述层面指标数据包括：项值；在步骤B中包括：根据与第一层面对应的字段值与该层面的项值确定该层面对应的子分区。9.如权利要求8所述装置，其特征在于，所述数据路由的方式为哈希路由。10.如权利要求8或9所述装置，其特征在于，当待路由数据路由到的指定位置在数据源中时，还包括：根据分片数确定项值；当待路由数据路由到的指定位置在数据库中时，还包括：根据分区数确定项值。11.一种数据路由的电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。

百度查询： 北京京东尚科信息技术有限公司 北京京东世纪贸易有限公司 数据路由的方法和装置