买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京理工大学

摘要：本发明提供一种基于数字分身的机器人远程交互系统及交互方法，所述系统包括现实世界场景、虚拟世界场景；虚拟世界场景与现实世界场景信号连接；现实世界场景包括使用者、VR设备、计算机设备、机器人设备、全景相机设备、机器人周围环境；机器人设备包括机械臂、机械夹爪、ROS控制器、通讯模块；全景相机设备包括摄像头、图像处理器、通讯接口；摄像头与图像处理器信号连接，图像处理器与通讯接口信号连接；虚拟世界场景包括数字机器人、虚拟现实环境；VR设备与数字机器人信号连接。本发明将VRAR和数字分身融合到智能控制中，实现虚拟与实际的融合，提高了虚拟环境与物理机设备实际工作环境的一致性，有效提升了智能控制作业效率。

主权项：1.一种基于数字分身的机器人远程交互方法，其特征在于，所述方法应用于基于数字分身的机器人远程交互系统，所处系统包括：现实世界场景、虚拟世界场景；所述虚拟世界场景与所述现实世界场景之间信号连接；其中，所述现实世界场景包括：使用者、VR设备、计算机设备、机器人设备、全景相机设备、机器人周围环境；所述机器人设备位于所述机器人周围环境中；所述机器人设备与所述计算机设备之间信号连接；其中，所述机器人设备包括：机械臂、机械夹爪、ROS控制器、通讯模块；所述机械臂与所述机械夹爪传动连接；所述机械夹爪和所述机械臂分别电性连接有电动舵机；所述通讯模块为所述机器人设备和所述计算机设备之间提供数据传输通道；所述全景相机设备包括：摄像头、图像处理器、通讯接口；所述摄像头与所述图像处理器信号连接，所述图像处理器与所述通讯接口信号连接，所述通讯接口提供全景相机设备与计算机设备的数据传输通道；所述虚拟世界场景包括：数字机器人、虚拟现实环境；所述数字机器人位于所述虚拟现实环境中；所述VR设备与所述数字机器人信号连接；所述机器人设备还包括：底座，所述底座上设置有固定孔位，用于将所述机器人设备固定设置在所述机器人周围环境中；所述方法，包括以下步骤：S1、所述ROS控制器的内部运行ROS操作系统，通过ROS操作系统发送PWM脉冲，控制所述电动舵机在-180°到+180°的角度之间转动；S2、所述电动舵机通过机械传动结构控制机械夹爪及机械臂的五种不同空间变化，通过通讯模块接收来自所述计算机设备上的数字孪生环境内下发的控制指令、通过通讯模块发送自身设备状态信息；S3、所述摄像头将所述现实世界场景进行实时感知记录，并将图像传输到所述图像处理器；S4、所述图像处理器将不同的摄像头感知到的现实世界场景按拍摄角度进行裁剪组合，通过三维球面全景视频实时拼接算法，形成以机器人设备为中心感知的360°球型全景视频流；通过通讯接口将所述360°球型全景视频流传输至计算机设备；S5、所述计算机设备运行数字孪生环境，通过虚实交互距离匹配算法，实现连续时间内现实世界场景的实时环境变化感知及传输；所述S4步骤的所述三维球面全景视频实时拼接算法的处理流程包括以下步骤：S41、使用SIFT特征提取算法，从不同图像中提取相同的特征点，用于后续的图像匹配和融合；所述从不同图像中提取相同的特征点的方法包括：对每个像素点构建Hessian矩阵，生成图像稳定的边缘突变点；所述Hessian矩阵的表达式为：（1）式（1）中，Gx，y为像素值；、、是像素点的二阶导数；将每个像素点与相邻点的Hessian矩阵表达式的值进行对比，将大于或者小于所有相邻点的像素点作为特征点；S42、将每张图像进行区域划分，通过对比两张图像的特征区域内的特征点的重合程度，确定相邻图像的匹配区域；将每张图像进行区域划分的方法包括：将图像按区域大小Z=ZnN进行划分，其中Z为图像内每个区域的大小，Zn为整个图像的大小；N为划分区域数目；S43、根据匹配区域将相邻图像进行融合，将图像内不被匹配区域带包围的区域舍弃，将相邻图像内匹配区域带的区域进行融合，生成全景图像；所述全景图像中的匹配区域带内每像素的位置x,y为：（2）式（2）中，xi+1,yi+1为图像Gi+1的重合点像素坐标；xi,yi为图像Gi的重合点像素坐标；λ为权值渐变因子；式（2）中的λ的计算表达式为：（3）式（3）中，为重叠区域第y行左边界坐标；为第y行重叠区域右边界坐标；为第y行重叠像素数，即；S44、将生成的全景图像进行透射变换，生成三维球面模型的全景图像；利用全景图像的像素坐标，进行透射变换，将全景图像变换为三维球面模型的全景图像；所述透射变换的方法包括：将球面上的点转换为单位向量：（4）式（4）中，x,y,z是球面上的点的坐标；将单位向量投射变换为全景图像的二维图像坐标：（5）式（5）中，u,v为全景图像二维图像坐标，x',y',z'为球面单位向量坐标。

全文数据：

权利要求：

百度查询： 北京理工大学 一种基于数字分身的机器人远程交互系统及交互方法