买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜同济大学申请的专利基于关节分组策略的智能体元动作学习方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114170454B 。

龙图腾网通过国家知识产权局官网在2025-04-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111303088.0，技术领域涉及：G06V10/762；该发明授权基于关节分组策略的智能体元动作学习方法是由钱智丰;尤鸣宇设计研发完成，并于2021-11-04向国家知识产权局提交的专利申请。

本基于关节分组策略的智能体元动作学习方法在说明书摘要公布了：一种基于关节分组策略的智能体元动作学习方法，用于机器人自动控制，通过关节分组和元动作的时空融合来控制机器人快速学会新任务，从而避免了花费大量时间进行从头训练。提出了一个信息论目标来优化强化学习算法训练机器人，从而学会一系列多样的元动作策略；基于动态时间规整算法进行关节之间的轨迹相似性计算，进而基于层次聚类算法实现机器人关节的分组；根据关节组对应掩码得到不同关节组的元动作控制策略；构建层次结构的机器人总控制策略网络，通过线性组合各个关节组元动作策略的权重，实现在时间层面和空间层面上的元动作融合，从而能够快速学会新任务；同时，增强机器人动作的协调性和连贯性，在新任务上能够达到更好的表现。

本发明授权基于关节分组策略的智能体元动作学习方法在权利要求书中公布了：1.一种基于关节分组策略的智能体元动作学习方法，其特征在于，提出信息论优化目标来优化强化学习算法来训练机器人，从而学会一系列多样的元动作策略；提出基于时间动态规整算法进行关节之间的轨迹相似性计算，进而基于层次聚类算法实现机器人关节的分组；根据关节组对应掩码得到不同关节组的元动作控制策略；构建层次结构的机器人总控制策略网络，通过线性组合各个关节组元动作策略的权重，实现在时间层面和空间层面上的元动作融合，从而能够快速学会新任务；同时，增强机器人动作的协调性和连贯性，在新任务上能够达到更好的表现；所述基于关节分组策略的智能体元动作学习方法通过如下步骤实现：S1：首先搭建元动作策略网络，然后提出一个信息论优化目标来代替与任务高度相关的奖励函数，在仿真环境中对机器人进行深度强化学习训练，利用元动作的可区分性得到一系列丰富多样的元动作；S2：利用已有的元动作策略采样大量的轨迹，并根据各个关节的轨迹进行时间动态规整算法计算相似度，再根据层次聚类对关节进行分组，得到关节组；S3：基于S2的关节组生成对应的关节组掩码，结合步骤S1中得到的元动作策略得到不同关节组的元动作策略网络；S4：在新的机器人应用场景下，搭建层次结构的强化学习控制网络，通过组合步骤S3得到的关节组元动作来更快地学习新任务，同时能够得到奖励函数；步骤S1中，所述的元动作策略网络为一个神经网络，表示为，其中输入为状态S，具体为单目相机拍摄的包含环境和机器人自身的观察图像；输出为机器人的动作A，具体为控制机器人的各关节角度和关节角速度组成的56维向量，表示为；在网络中，将中间的潜在变量Z约束到一个均匀分布上，表示为；设定基于一个潜在变量的策略网络为一个元动作，表示为；步骤S1中，对于深度强化学习来说，设计一个信息论优化目标来约束深度强化学习算法；所述的信息论优化目标包含三个设计原则，分别为（1）所有状态都要访问到，不同元动作访问的不同状态能够被区分，最大化元动作和状态的互信息；（2）用状态来区分元动作，最小化在状态为条件下元动作和动作的互信息；（3）最大化在元动作为条件下动作的熵；综上所述，通过提出的信息论优化目标表示如下： 机器人通过最大化以上的信息论优化目标来进行机器人深度强化学习训练，最终得到N个元动作策略。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人同济大学，其通讯地址为：200092 上海市杨浦区四平路1239号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。