买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：湖南潇湘大数据科技有限公司;湖南潇湘大数据研究院

摘要：本发明属于容量计算领域，具体是指一种基于多目标优化的网格合理容量计算方法与系统，方法包括：数据采集、GIS地理信息系统建模、初始化离线强化学习模型、训练离线强化学习模型和输出网格最优容量。本方案采用GIS地理信息系统采集、处理和展示数据，生成带权拓扑网络，采用反距离加权插值法扩充消费群体，输出空间布局数据，提供计算网格合理容量的决策支持；采用离线强化学习算法确定网格合理容量，利用历史数据，避免实时处理中出现的决策风险；采用基于多目标优化的离线强化学习算法，利用Q函数网络的泛化能力，最小化了随着Q函数网络数量的增加而带来的时间成本。

主权项：1.一种基于多目标优化的网格合理容量计算方法，其特征在于：该方法包括以下步骤：步骤S1：数据采集；步骤S2：建立GIS地理信息系统；步骤S3：建立并初始化离线强化学习模型；步骤S4：训练离线强化学习模型，输出最优策略；步骤S5：输出网格最优容量，对当前待计算网格中烟草零售户初始的数量和位置，执行最优策略，得到最终的网格最优容量及烟草零售户的更新位置；在步骤S1中，所述数据采集，具体为网格是待计算网格容量的区域，网格容量是网格内最优烟草零售户的数量，收集网格内的地理数据和市场数据，所述地理数据包括地形地貌数据、卫星遥感影像数据、行政区划边界、土地利用数据、人口统计数据、交通网络数据，所述市场数据包括消费群体和烟草零售户的位置、消费群体的消费能力、烟草零售户的销售信息及营业时间；在步骤S2中，所述GIS地理信息系统建模，包括以下步骤：步骤S21：聚类分析划分网格，参考行政区域的划分，采用k-mean聚类算法，根据地理数据和市场数据，将网格划分为二级区域；步骤S22：计算每个二级区域的人口密度、平均收入和各个消费品类的月均消费水平，人口密度计算公式如下： ；式中，PD为该二级区域的人口密度，N代表该二级区域的人口数量，A代表该二级区域的区域面积；步骤S23：生成带权拓扑网络，基于地理数据，生成消费群体与烟草零售户相对位置关系的拓扑网络，分析网格内每个消费群体到达烟草零售户的最短路径、最佳路径、路线规划、物流配送路径的达到成本，并将最短路径、最佳路径、路线规划、物流配送路径的达到成本记为拓扑网络的权值，生成带权拓扑网络；步骤S24：识别缓冲区，根据网格内每个烟草零售户不同的预设尺度，划分并评估围绕每个烟草零售户的影响范围，记为缓冲区；步骤S25：采用插值扩充消费群体；采用反距离加权插值法，在已知消费群体的基础上推断未知消费群体，公式如下： ；式中，是未知消费群体的估计值，是到第i个已知消费群体的距离，p是预设指数，是第i个已知消费群体位置的测量值；步骤S26：输出空间布局数据，使用GIS软件ArcGIS对网格进行建模，用地图的形式进行可视化展示，并以元组的形式输出空间布局数据；在步骤S3中，所述建立并初始化离线强化学习模型，具体为将网格中烟草零售户的数量和位置定义为状态，初始化状态空间，将当前待计算网格的烟草零售户的数量和位置存入状态空间；将增加或减少网格中烟草零售户定义为动作，初始化动作空间，将当前待计算网格的所有可能的动作存入动作空间；将增加或减少网格中烟草零售户的数量及对应的位置定义为策略，初始化策略，采用启发算法，随机生成多个策略；将网格中所有烟草零售户的收益定义为奖励；初始化离线经验缓存区，将空间布局数据存入离线经验缓存区，初始化策略参数，将策略参数定义为，初始化估计Q函数参数，初始化目标Q函数参数，预设最大迭代次数，初始化迭代次数等于0；在步骤S4中，所述训练离线强化学习模型，包括以下步骤：步骤S41：从离线经验缓存区中随机抽取一批定义马尔可夫决策过程的元组，记为B；步骤S42：计算目标Q函数Q值，计算公式如下： ；式中，是立即奖励，是下一时刻的状态，是目标Q函数Q值，是折扣系数，是下一时刻的动作，是第j个在状态为采取动作为的目标Q函数，是策略总数，是在下标j取值1至N时，的最小值，是的重要性采样比例，是指数运算，是采用以为参数，在状态为情况下，采取动作为的条件概率的策略；步骤S43：采用梯度下降法更新估计Q函数，公式如下： ；式中，是估计Q函数参数，是相对于的梯度，是B的模，是当前时刻的状态，是当前时刻的动作，表示当，,,的取值属于B的子集时的累计和，是第i个在状态为采取动作为的估计Q函数，是第i个估计Q函数参数和第j个估计Q函数参数的余弦相似度测量梯度的成对排列，是当i不等于j时的累计和，η是学习率；步骤S44：使用梯度上升法更新策略，公式如下； ；式中，是相对于的梯度，表示当s的取值属于B时的累计和，是以为参数在状态为s时策略中的一个动作，是第j个在状态为采取动作为的估计Q函数，是在下标j取值1至N时，的最小值，是以θ为参数在状态为s时采取动作为的条件概率的策略；步骤S45：更新策略，所用公式如下： ；式中，是预设比例，是目标Q函数的参数，是估计Q函数的参数；迭代次数自增，所用公式如下： ；式中，是迭代次数；步骤S46：重复步骤S41至步骤S45，循环迭代，直到达到最大迭代次数，输出最优策略；在步骤S5中，所述输出网格最优容量，具体为对当前待计算网格中烟草零售户初始的数量和位置，执行最优策略，得到最终的网格最优容量及烟草零售户的更新位置。

全文数据：

权利要求：

百度查询： 湖南潇湘大数据科技有限公司 湖南潇湘大数据研究院 基于多目标优化的网格合理容量计算方法与系统