买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜浙江大学申请的专利基于用户群体典型特征的强化学习分组方法、装置及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114912518B 。

龙图腾网通过国家知识产权局官网在2025-04-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210458367.2，技术领域涉及：G06F18/2431；该发明授权基于用户群体典型特征的强化学习分组方法、装置及介质是由罗亚威;徐源佑;杨易设计研发完成，并于2022-04-27向国家知识产权局提交的专利申请。

本基于用户群体典型特征的强化学习分组方法、装置及介质在说明书摘要公布了：本发明公开了一种基于用户群体典型特征的强化学习分组方法、装置及介质。其步骤如下：1对大规模在线学习系统中的用户画像提取原始特征；2利用群体关系构建用户网络图，采用图卷积神经网络对个体用户特征进行升维映射，形成群体特征；3利用可学习的聚类算法对群体特征进行聚类，形成多个用户群体类型；4利用Q‑learning强化学习算法，在群体典型特征空间进行分组模型学习，最终得到最优的典型特征组合模式。本发明的方法适用于大规模在线学习中，研讨、实践、合作场景的学生用户分组，其分组效率高，准确性好、解释性强。本发明对于大规模在线学习平台中的用户分组教学实践具有十分重要的实际应用价值。

本发明授权基于用户群体典型特征的强化学习分组方法、装置及介质在权利要求书中公布了：1.一种基于用户群体典型特征的强化学习分组方法，其特征在于，步骤如下：S1：对在线学习平台中目标用户的画像信息进行提取和筛选，将每个目标用户的个人信息画像以及用户与平台之间的交互行为画像进行拼接后作为用户画像特征；S2：基于所有用户的用户画像特征构建用户关系图，图中的每个节点对应于一个目标用户，再使用图卷积神经网络对用户关系图进行特征提取和聚合，得到图中每个节点对应的群体特征；S3：对用户关系图中所有节点的群体特征进行聚类，形成多个类型的典型用户群组；S4：基于S2中得到的群体特征以及S3中聚类得到的各典型用户群组，利用强化学习模型对群体典型类型进行分组预测，使各典型用户群组中的用户逐步被划分至不同的分组中，最终得到平台上所有目标用户的最优分组；所述步骤S4的具体实现方法如下：S41：构建用于对在线学习平台上用户执行分组任务的强化学习模型；所述分组任务的目标是将平台上的N个用户分为G组，每组H个组员；所述强化学习模型用于针对已经划分的为T个类型{c1,c2,…cT}，预测每个组需要的用户类别；所述强化学习模型的状态s和动作a分别定义为模型的输入X和输出Y；输入X∈RG×H×D+T包含G个组中所有N个组员的特征，一个对应于用户i的组员的特征包含两部分，第一部分是S2中得到用户i的D维群体特征，第二部分是S3中聚类后用户i所属类型的T维独热编码，输出Y∈RG×T代表每个组需要加入每一类型的组员的概率；S42：所述强化学习模型定义状态和动作后，按照S421～S424进行多次输入输出的迭代，完成一轮分组，其中S421～S424流程如下：S421：将输入X初始化为一个全零张量，代表尚未进行任何分组动作；S422：由所述强化学习模型根据输入X得到输出Y，根据输出Y以及当前每个聚类类别的剩余用户人数为每个组执行依次分配新组员的操作；在执行一次分配新组员的操作过程中，首先根据输出Y统计得到G个组各自最需要的用户类型，然后对T种类型按照需求的组的数量从多到少的顺序依次开始分配，其中：若G个组中有m个组需要ct类型的人，剩余的ct类型的用户有n个，如果m≤n，则就把n个中任意m个cn类型的用户分配到这m个组中，剩余组将不再考虑分配cn类型的用户；如果mn时分配的用户出现不足，则把这n个cn类型的用户分配到输出Y中对应概率最大的n个组中，剩余的m-n个组继续分配其他类型的用户并通过比较输出Y中的概率值大小决定具体分配的用户类型，如果cn类型的用户已经全部分配完，后续均需要跳过对cn类型用户的分配；S423：经过执行一轮S422操作，每个组都被分配了1名新组员，将该新组员对应的所述群体特征和该新组员所属类型的T维独热编码替换输入X中相应位置的元素值，得到新的输入X；S424：不断迭代重复S422～S423共H次后，将平台上的所有N个用户分为了G组，每组H个组员，分组结束；S43：完成S42中的一轮分组后，采用策略梯度法对所述强化学习模型进行训练；其中所述强化学习模型的参数为θ，则参数的更新方式为： 其中是在参数为θ的强化学习模型下的反馈期望，该期望通过蒙特卡洛采样近似得到，采样的总次数为S，一次采样即一轮分组，共包含H次采样；表示在第n轮分组中第h次采样时，在状态下采取动作的概率，该概率是由强化学习模型预测得到；Rτn表示在第n轮分组中采取一系列分组动作τn后得到的反馈，该反馈从在线学习平台上用户对分组结果的实际反馈结果中获得；α为学习率；S44：所述强化学习模型训练好后，固定其模型参数用于对在线学习平台上的用户进行实际预测分组。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。