买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉之江实验室申请的专利一种基于深度相机的导览机器人感知行人三维空间信息的方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116012445B 。

龙图腾网通过国家知识产权局官网在2026-04-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211572616.7，技术领域涉及：G06T7/73；该发明授权一种基于深度相机的导览机器人感知行人三维空间信息的方法和系统是由朱世强;寄珊珊;王文;宛敏红;张春龙;李特;林哲远;黄敏设计研发完成，并于2022-12-08向国家知识产权局提交的专利申请。

本一种基于深度相机的导览机器人感知行人三维空间信息的方法和系统在说明书摘要公布了：一种基于深度相机的导览机器人感知行人三维空间信息的方法，包括：1机器人端获取深度相机的RGB图片及Depth图片，进行预处理后传输到云端服务器；2根据云端部署的多目标跟踪方法及二维人体关键点检测网络获取每一个跟踪到的行人的二维关键点坐标，结合Depth图片与RGB图片的映射关系获取行人的三维关键点坐标；3根据深度相机与激光雷达联合标定的坐标转换矩阵获取机器人坐标系下的行人三维关键点坐标并输出行人三维空间信息；4机器人根据获取到的行人三维空间信息进行本体控制，完成自主唤醒等智能导览任务；采用基于视觉感知方法提升导览机器人的自然交互体验。本发明能用于展厅等公共场景下导览机器人对行人的三维空间信息的智能感知。

本发明授权一种基于深度相机的导览机器人感知行人三维空间信息的方法和系统在权利要求书中公布了：1.一种基于深度相机的导览机器人感知行人三维空间信息的方法，其特征在于，包括以下步骤： 步骤S1机器人端采集深度相机的RGB图片和Depth图片，并进行时间对齐和空间对齐，将经过深度图降采样、图片编码等预处理操作的数据传输到云端服务器； 步骤S2利用云端部署的多目标跟踪方法及二维人体关键点检测方法获取每一个跟踪到的行人目标的人体二维关键点坐标，结合Depth深度图与RGB图片的映射关系获取行人的三维关键点坐标；具体包括： S2.1所述多目标跟踪方法采用基于检测的两阶段方法，即采用YOLOV5+DeepSort的方法获取连续帧下的每张图片中的每个行人目标的ID和检测框； S2.2所述二维关键点检测采用自顶向下TopDown的方法，二维关键点检测网络使用Lite-HRNet-18，输入是根据上一步骤检测框裁剪出的每个行人目标图片，并使用标准化处理缩放到统一尺寸，输出为人体关键点二维坐标； S2.3所述结合Depth深度图与RGB图片的映射关系获取行人的三维关键点坐标，根据缩放系数查找RGB图片中二维关键点x,y在深度图中对应的像素坐标u,v及相应的深度值d[u，v]，其中u=roundukw，v=roundukh，round表示取整，如果d不存在，则根据该点水平方向[u-pts，u+pts]与垂直方向[v-pts，v+pts]包围的矩形区域内的深度点集合取中值进行估算，其中pts为有效像素个数； S2.4获取相机坐标系下的行人三维关键点坐标，根据二维关键点x,y对应的深度值结合相机内参进行计算，获取相机坐标系下的人体三维关键点P[Xc,Yc,Zc]： Zc=d[u，v] Yc=v-cy×d[u，v]fy Xc=u-cx×d[u，v]fx 其中，u，v为二维关键点x,y在深度图中对应的行列值，d[u，v]表示该像素坐标下的深度值，cx，cy为图像原点相对于光心成像点的横纵偏移量，fx为水平方向的焦距，fy为垂直方向的焦距； 步骤S3根据深度相机与激光雷达联合标定获取坐标系转换矩阵，从而获取机器人坐标系下的行人三维关键点坐标，输出行人三维空间信息； 步骤S4机器人端通过访问云端服务器获取行人三维空间信息并进行本体控制，完成自主唤醒等智能导览任务，具体包括： S4.1所述导览机器人通过消息中间件访问云端服务器，获取行人实时三维空间信息，根据行人与机器人的距离信息及预设阈值，判断是否激活导览机器人，当Dis3m时，导览机器人状态机处于睡眠状态，能耗较低；当Dis≤3m时，导览机器人则从睡眠状态转为激活状态，从而实现基于视觉信息的机器人主动唤醒任务； S4.2根据上一步骤判断导览机器人当前状态，当导览机器人处于睡眠状态时，机器人头部处于初始状态，水平及垂直转动角度均为零度；当导览机器人处于激活状态时，根据行人鼻子的三维关键点坐标计算行人与机器人头部的角度，获取行人相对于机器人垂直方向的旋转角度θ1和水平方向的旋转角度θ2；机器人通过运动控制单元控制机器人头部实现两个自由度的旋转到达指定角度；根据行人鼻子关键点三维坐标Xn,Yn,Zn获取行人高度为Hp，Hp=Zn+0.2,单位为m，其中0.2为机器人底盘激光雷达到地面的距离，Hhead机器人头部旋转轴到地面的距离，行人到机器人的距离为Dis，则机器人垂直方向的旋转角度θ1为： θ1=arcsinHp-HheadDis 机器人水平方向的旋转角度θ2为： θ2=arcsinYnXn。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人之江实验室，其通讯地址为：311121 浙江省杭州市余杭区之江实验室南湖总部；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。