买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：合肥工业大学

摘要：本发明公开了一种VRAR环境下手贴合菜单的交互方法，是将手掌作为智能手机的界面，将虚拟菜单界面吸附在用户手部皮肤上，并能跟随手掌动态变化，以显示菜单的最佳布局，然后通过点击手掌上的图标按钮，实现交互。本发明通过研究影响手部菜单贴合的关键因素，使得在非主导手上显示的菜单内容更加贴合手部，从而让主导手的手指与菜单之间的交互更加准确和顺畅，以实现更加沉浸式的体验。

主权项：1.一种VRAR环境下手贴合菜单的交互方法，其特征在于，包括如下步骤：步骤1：将使用者的一只手作为主导手，则另一只手作为非主导手，使用VRAR头戴式设备的深度相机获取所述非主导手的多视图手部姿态图像P＝{p1,p2,…,pi,…,pn}；其中，pi表示第i个视图的手部姿态图；n表示视图的数量；步骤2：获取虚拟手部网格M；步骤3：获取虚拟手部网格M的手掌关节点集合其中，表示虚拟手部网格M的第j个手掌关节点；J表示手掌关节点的总数；获取使用者非主导手的手掌关节点集合其中，表示使用者非主导手的第j个手掌关节点；计算与之间各个手掌关节点的相对平移距离集合D，从而根据相对平移距离的D对虚拟手部网格M进行平移，使得虚拟手部网格M完全映射到使用者的非主导手上，从而形成虚拟手部模型；步骤4：设置菜单项的属性，包括：菜单项的交互区域、菜单项的直径范围[A,B]、菜单项的间隔C；其中，菜单项的中心为交互区域的中心；菜单项的半径r为交互区域的半径；交互区域为菜单项的最小包围圆所形成的区域；A、B、C为所设定的三个阈值；步骤5：利用3D建模软件对虚拟手部模型进行UV展开，得到虚拟手部模型的UV展开图；再使用绘图软件在UV展开图上绘制F个菜单项的图标，得到UV贴图；步骤6：若使用者采用VR头戴式设备，则VR头戴式设备将UV贴图映射到虚拟手部网格M上，形成附着有菜单的虚拟手部模型；若使用者采用AR头戴式设备，则AR头戴式设备将虚拟手部模型进行隐藏后，再将UV贴图映射非主导手上，形成附着有菜单的非主导手；步骤7：获取UV贴图上每个菜单项的图标的高度height和宽度width，以及每个菜单项图标的中心点的像素坐标{X1,Y1,X2,Y2,…,Xf,Yf,…,XF,YF}，其中，Xf,Yf表示第f个菜单项图标的中心点的像素坐标，F为菜单项图标的数量；步骤8：利用式1计算第f个菜单项图标的中心点的UV坐标uf,,vf，从而得到UV贴图中所有菜单项图标菜单项中心点的UV坐标集； 步骤9：定义从主导手的食指指尖的中心点位置所产生的一条射线记为其中，O表示射线的起点，t表示射线的长度，表示射线的方向；步骤10：获取虚拟手部网格M的网格中一个三角形的顶点坐标V0,V1,V2，其中，V0,V1,V2分别为三角形的三个顶点；定义所述三角形内的任意一点Point的重心坐标TPoint＝1-b1-b2×V0+b1V1+b2V2，其中，b1，b2为两个系数；步骤11：假设Lt与TPoint相交，从而对式2进行求解，得到两个系数b1，b2； 步骤12：若满足b1≥0,b2≥0,b1+b2≤1，则表示射线Lt指向的范围属于顶点坐标为V0,V1,V2的三角形内；否则，表示射线Lt指向的范围不在顶点坐标为V0,V1,V2的三角形，则返回步骤10执行；步骤13：将虚拟手部模型缩放成一个单位球，从而计算所述三角形的顶点坐标V0,V1,V2在所述单位球上的球面坐标Theta，Phi，其中，Theta表示与坐标轴正z轴的夹角，且0≤Theta≤2π，Phi表示从坐标轴正x轴逆时针旋转到点的投影与正x轴的夹角，且0≤Phi≤π；从而由球面坐标Theta，Phi计算得到所述三角形的顶点坐标V0,V1,V2的所对应的UV坐标Theta2π，Phiπ；步骤14：将所述UV坐标Theta2π，Phiπ与UV贴图中所有菜单项图标菜单项中心点的UV坐标集中的每个UV坐标进行比较，若Theta2π，Phiπ到uf,,vf的距离小于半径r，则表示主导手的食指指尖对第f个菜单项图标进行交互，否则，表示未交互。

全文数据：

权利要求：

百度查询： 合肥工业大学 一种VR/AR环境下手贴合菜单的交互方法