买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜南京大学申请的专利基于用户模型学习的多任务强化学习用户运营方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114912357B 。

龙图腾网通过国家知识产权局官网在2025-05-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210537142.6，技术领域涉及：G06F30/27；该发明授权基于用户模型学习的多任务强化学习用户运营方法及系统是由俞扬;胡南;詹德川;周志华设计研发完成，并于2022-05-18向国家知识产权局提交的专利申请。

本基于用户模型学习的多任务强化学习用户运营方法及系统在说明书摘要公布了：本发明公开了一种基于用户模型学习的多任务强化学习用户运营方法及系统，去运营平台线上环境收集每个城市最近一段时间的平台操作和用户反馈数据,换成适用于机器学习的用户轨迹数据和用户行为数据；使用每个城市的用户轨迹数据，训练用于提取特征的编码器网络，输出每个城市每个用户的特征向量；进行聚类操作，构建通用网络模型结构；从每个城市的用户行为数据中去还原出每个城市的用户模型；使用通用网络模型结构初始化算智能体模型，以多个城市的用户模型为多任务环境来训练算法的通用智能体模型。将通用智能体模型中的通用运营策略模型部署到多个城市的线上环境，进行用户运营决策，并产生新一轮的平台操作和用户反馈数据。

本发明授权基于用户模型学习的多任务强化学习用户运营方法及系统在权利要求书中公布了：1.一种基于用户模型学习的多任务强化学习用户运营方法，其特征在于，包括如下步骤：步骤1，去线上平台收集每个城市指定时间范围所有用户的平台操作和自身反馈记录；步骤2，进行特征工程，将每个用户的平台操作和自身反馈记录的历史数据转换成用于强化学习的轨迹数据；步骤3，使用轨迹数据训练一个提取用户特征的编码器网络，编码器网络输出每个城市每个用户各自的特征向量；步骤4，使用每个城市每个用户的特征向量去进行聚类操作，根据聚类操作的结果去构建一个通用网络模型结构；步骤5，使用模仿学习的方法，去模仿真实的用户行为数据中的用户行为，以构建出每个城市的用户模型；步骤6，使用通用网络模型结构来初始化强化学习算法所需要的通用智能体模型，以多个城市的用户模型为多任务环境同时训练通用智能体模型，输出智能体模型中的通用运营策略模型；步骤7，将训练好的通用运营策略模型部署到每个城市的实际环境上，去指导进行用户运营决策，并产生新一轮的平台操作和用户反馈数据；所述步骤2中，特征工程将每个用户的平台操作和自身反馈记录的历史数据转换成用于强化学习的轨迹数据；令收集到的数据范围是从第1天到第2n天，首先去获得初始化的用户画像：以第n+1天为基准，用户在当天的画像是用户过去历史从第1天到第n天，基于所获平台操作和用户反馈记录，计算得到的统计特征数据，用s1来表示用户初始的画像；当预定义好平台运营动作、用户反馈动作和平台回报值，能计算从第n+1天到第2n天每一天的平台运营动作、用户反馈动作和平台回报值数据，分别用at、ut和rt来表示，n+1≤t≤2n，同时根据已知的转移规则：st+1＝Tst,at,ut，当知道当天的用户画像、平台运营动作和用户反馈动作，能计算得到第二天的用户画像；从用户的初始画像开始，基于转移规则和第n+1天到第2n天每一天的平台运营动作、用户反馈动作和平台回报值数据，得到了任何一个用户从第n+1天到第2n天内的一条轨迹数据：τ＝{s1,a1,r1,s2,s2,a2,r2,s3,…,sn,an,rn,sn+1}一个城市所有用户的轨迹数据就构成了这个城市的轨迹数据集D；如果{1,…,L}表示L个不同的城市，那么总的用户轨迹训练数据就是Dsum＝{D1,…,DL}；任何一个用户在第n+1天到第2n天内的行为数据为：β＝{s1,a1,u1,s2,a2,u2,…,sn,an,un}同理一个城市的所有用户行为数据就构成了这个城市的用户行为数据集B；总的用户行为训练数据就是Bsum＝{B1,…,BL}；所述步骤3中，训练用于提取特征的编码器网络并输出特征向量的过程包括：301选择处理时序数据的神经网络模型结构，用以初始化编码器网络ωσ；编码器网络输入某个用户的一条时序轨迹数据τ，输出对应于这个用户的特征向量υ；302基于对比损失训练编码器网络；303总的对比损失就是任意两个城市各取一批用户，在这两批用户之间所有用户对的对比损失之和，用表示，基于梯度下降对编码器网络参数σ做如下更新： 304训练初始化编码器网络直至收敛，对于训练数据集中的任意一个用户，使用收敛后的编码器网络，输入对应用户轨迹数据，输出其特征向量。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京大学，其通讯地址为：210023 江苏省南京市栖霞区仙林大道163号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。