买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉四川大学申请的专利一种基于机械臂姿态活动自由度的强化学习方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117086882B 。

龙图腾网通过国家知识产权局官网在2025-11-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311294950.5，技术领域涉及：B25J9/16；该发明授权一种基于机械臂姿态活动自由度的强化学习方法是由杨红雨;王进林;季玉龙;朱珑涛;王一;何扬;周文涛设计研发完成，并于2023-10-07向国家知识产权局提交的专利申请。

本一种基于机械臂姿态活动自由度的强化学习方法在说明书摘要公布了：本发明提供了一种基于机械臂姿态活动自由度的强化学习方法，涉及机械臂智能控制领域。该方法首先建立机械臂仿真模型，再建立其运动模型与控制模型；而后建立观测空间，并基于观测空间设置奖励函数。基于SAC算法搭建强化学习算法，并引入中心关节夹角正弦值扩展观测空间和奖励函数。最后，进行抓取并记录抓取数据，根据抓取的数据进行预测价值估计，使用损失函数对决策网络进行优化训练。该方法较于现有技术具有更好的收敛特性与任务执行能力，且具有更好的探索性能和更好的平滑性和空间效率。

本发明授权一种基于机械臂姿态活动自由度的强化学习方法在权利要求书中公布了：1.一种基于机械臂姿态活动自由度的强化学习方法，其特征在于，包括： S1：构建机械臂的三维仿真模型； S2：在机械臂各关节的中心位置设置锚点，调整控制锚点旋转，实时查看机械臂动态变化，以建立机械臂的运动模型与控制模型； S3：在仿真场景中设置支撑平台和需抓取的目标物块； S4：搭建强化学习环境： S41：建立观测空间 [Δxtarget，Δytarget，Δztarget，angles]， 式中，Δxtarget，Δytarget，Δztarget分别表示机械臂末端与目标物块的相对位置，angles表示机械臂各个关节的夹角； S42：基于观测空间观测机械臂与目标物块的相对位置和机械臂各关节的夹角； S43：通过控制机械臂各关节逆时针旋转、保持当前位置和顺时针旋转，建立机械臂的动作空间；所述逆时针旋转、保持当前位置和顺时针旋转的范围为 S44：设置基础奖励函数RT， RT＝-eDistance， 式中，Distance为机械臂末端与目标物块的直线距离； S5：基于SAC算法搭建强化学习算法： S51：引入中心关节夹角正弦值λ，将观测空间拓展为 [Δxtarget，Δytarget，Δztarget，angles，λ]； S52：将λ引入RT得到扩展奖励函数R， R＝ωλ+1-ωRT， 式中，ω为λ在抓取任务中的考量权重； S53：在仿真环境中进行抓取，并记录每次抓取的经验数据； S54：使用SAC算法与仿真场景进行交互，获取所述经验数据存入经验池，再从经验池中采集经验数据st，at，st+1，rt对所述SAC算法进行网络更新， 其中，st为t时刻的状态，at为t时刻的动作，st+1为t+1时刻的状态，rt为t时刻根据R获得的奖励值； S55：基于最优贝尔曼方程，使用 Ut＝rt+γvst+1 作为st的真实动作价值估计， 式中，γ为强化学习奖励折扣因子，νst+1为st+1下的预测状态价值估计； S56：通过SAC算法中的Q网络，将qst，at作为st的预测价值估计； S57：使用MSELoss作为损失函数，将Ut与qst，at进行拟合，并基于拟合结果对所述SAC算法的决策网络进行优化训练。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人四川大学，其通讯地址为：610065 四川省成都市武侯区一环路南一段24号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。