买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:湖南潇湘大数据科技有限公司;湖南潇湘大数据研究院
摘要:本发明属于容量计算领域,具体是指一种基于多目标优化的网格合理容量计算方法与系统,方法包括:数据采集、GIS地理信息系统建模、初始化离线强化学习模型、训练离线强化学习模型和输出网格最优容量。本方案采用GIS地理信息系统采集、处理和展示数据,生成带权拓扑网络,采用反距离加权插值法扩充消费群体,输出空间布局数据,提供计算网格合理容量的决策支持;采用离线强化学习算法确定网格合理容量,利用历史数据,避免实时处理中出现的决策风险;采用基于多目标优化的离线强化学习算法,利用Q函数网络的泛化能力,最小化了随着Q函数网络数量的增加而带来的时间成本。
主权项:1.一种基于多目标优化的网格合理容量计算方法,其特征在于:该方法包括以下步骤:步骤S1:数据采集;步骤S2:建立GIS地理信息系统;步骤S3:建立并初始化离线强化学习模型;步骤S4:训练离线强化学习模型,输出最优策略;步骤S5:输出网格最优容量,对当前待计算网格中烟草零售户初始的数量和位置,执行最优策略,得到最终的网格最优容量及烟草零售户的更新位置;在步骤S1中,所述数据采集,具体为网格是待计算网格容量的区域,网格容量是网格内最优烟草零售户的数量,收集网格内的地理数据和市场数据,所述地理数据包括地形地貌数据、卫星遥感影像数据、行政区划边界、土地利用数据、人口统计数据、交通网络数据,所述市场数据包括消费群体和烟草零售户的位置、消费群体的消费能力、烟草零售户的销售信息及营业时间;在步骤S2中,所述GIS地理信息系统建模,包括以下步骤:步骤S21:聚类分析划分网格,参考行政区域的划分,采用k-mean聚类算法,根据地理数据和市场数据,将网格划分为二级区域;步骤S22:计算每个二级区域的人口密度、平均收入和各个消费品类的月均消费水平,人口密度计算公式如下: ;式中,PD为该二级区域的人口密度,N代表该二级区域的人口数量,A代表该二级区域的区域面积;步骤S23:生成带权拓扑网络,基于地理数据,生成消费群体与烟草零售户相对位置关系的拓扑网络,分析网格内每个消费群体到达烟草零售户的最短路径、最佳路径、路线规划、物流配送路径的达到成本,并将最短路径、最佳路径、路线规划、物流配送路径的达到成本记为拓扑网络的权值,生成带权拓扑网络;步骤S24:识别缓冲区,根据网格内每个烟草零售户不同的预设尺度,划分并评估围绕每个烟草零售户的影响范围,记为缓冲区;步骤S25:采用插值扩充消费群体;采用反距离加权插值法,在已知消费群体的基础上推断未知消费群体,公式如下: ;式中,是未知消费群体的估计值,是到第i个已知消费群体的距离,p是预设指数,是第i个已知消费群体位置的测量值;步骤S26:输出空间布局数据,使用GIS软件ArcGIS对网格进行建模,用地图的形式进行可视化展示,并以元组的形式输出空间布局数据;在步骤S3中,所述建立并初始化离线强化学习模型,具体为将网格中烟草零售户的数量和位置定义为状态,初始化状态空间,将当前待计算网格的烟草零售户的数量和位置存入状态空间;将增加或减少网格中烟草零售户定义为动作,初始化动作空间,将当前待计算网格的所有可能的动作存入动作空间;将增加或减少网格中烟草零售户的数量及对应的位置定义为策略,初始化策略,采用启发算法,随机生成多个策略;将网格中所有烟草零售户的收益定义为奖励;初始化离线经验缓存区,将空间布局数据存入离线经验缓存区,初始化策略参数,将策略参数定义为,初始化估计Q函数参数,初始化目标Q函数参数,预设最大迭代次数,初始化迭代次数等于0;在步骤S4中,所述训练离线强化学习模型,包括以下步骤:步骤S41:从离线经验缓存区中随机抽取一批定义马尔可夫决策过程的元组,记为B;步骤S42:计算目标Q函数Q值,计算公式如下: ;式中,是立即奖励,是下一时刻的状态,是目标Q函数Q值,是折扣系数,是下一时刻的动作,是第j个在状态为采取动作为的目标Q函数,是策略总数,是在下标j取值1至N时,的最小值,是的重要性采样比例,是指数运算,是采用以为参数,在状态为情况下,采取动作为的条件概率的策略;步骤S43:采用梯度下降法更新估计Q函数,公式如下: ;式中,是估计Q函数参数,是相对于的梯度,是B的模,是当前时刻的状态,是当前时刻的动作,表示当,,,的取值属于B的子集时的累计和,是第i个在状态为采取动作为的估计Q函数,是第i个估计Q函数参数和第j个估计Q函数参数的余弦相似度测量梯度的成对排列,是当i不等于j时的累计和,η是学习率;步骤S44:使用梯度上升法更新策略,公式如下; ;式中,是相对于的梯度,表示当s的取值属于B时的累计和,是以为参数在状态为s时策略中的一个动作,是第j个在状态为采取动作为的估计Q函数,是在下标j取值1至N时,的最小值,是以θ为参数在状态为s时采取动作为的条件概率的策略;步骤S45:更新策略,所用公式如下: ;式中,是预设比例,是目标Q函数的参数,是估计Q函数的参数;迭代次数自增,所用公式如下: ;式中,是迭代次数;步骤S46:重复步骤S41至步骤S45,循环迭代,直到达到最大迭代次数,输出最优策略;在步骤S5中,所述输出网格最优容量,具体为对当前待计算网格中烟草零售户初始的数量和位置,执行最优策略,得到最终的网格最优容量及烟草零售户的更新位置。
全文数据:
权利要求:
百度查询: 湖南潇湘大数据科技有限公司 湖南潇湘大数据研究院 基于多目标优化的网格合理容量计算方法与系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。