买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南方科技大学

摘要：本申请提供了一种MR设备的交互方法、装置以及电子设备，涉及混合现实技术领域，解决了目前MR设备的交互形式较为单一，使用户的沉浸体验感较低的技术问题。该方法包括：通过图像采集装置获取软体实体物的图像；根据图像中的计算机视觉识别纹理通过视觉识别的处理方式生成软体实体物对应的虚拟形象，并通过显示装置显示虚拟形象；响应于通过图像采集装置识别到软体实体物上的计算机视觉识别纹理的图案发生变化，以及作用于软体实体物的有形交互操作，根据计算机视觉识别纹理的图案曲率以及有形交互操作的操作部位的部位姿势，确定针对软体实体物的用户交互意图；根据用户交互意图确定虚拟形象的形变状态，并基于形变状态改变显示出的虚拟形象。

主权项：1.一种MR设备的交互方法，其特征在于，所述MR设备上设置有图像采集装置和显示装置，所述方法包括：通过所述图像采集装置获取软体实体物的图像；其中，所述软体实体物的表面覆盖有计算机视觉识别纹理；根据所述图像中的所述计算机视觉识别纹理通过视觉识别的处理方式生成所述软体实体物对应的虚拟形象，并通过所述显示装置显示所述虚拟形象；其中，所述虚拟形象与所述软体实体物的形状相匹配；响应于通过所述图像采集装置识别到所述软体实体物上的所述计算机视觉识别纹理的图案发生变化，以及作用于所述软体实体物的有形交互操作，根据所述计算机视觉识别纹理的图案曲率以及所述有形交互操作的操作部位的部位姿势，确定针对所述软体实体物的用户交互意图；根据所述用户交互意图确定所述虚拟形象的形变状态，并基于所述形变状态改变显示出的所述虚拟形象；响应于通过所述图像采集装置识别到所述软体实体物上的所述计算机视觉识别纹理的图案发生变化，根据所述计算机视觉识别纹理的图案曲率以及所述有形交互操作的操作部位的部位姿势，确定针对所述软体实体物的用户交互意图的步骤，包括：响应于通过所述图像采集装置识别到所述软体实体物上的所述计算机视觉识别纹理的图案发生变化，根据所述计算机视觉识别纹理的图案曲率确定所述软体实体物的形变情况；其中，所述形变情况包括下述任意一项或多项：形变程度、形变速度、形变量、所述软体实体物的运动学数据；在所述软体实体物的形变情况是由作用于所述软体实体物的所述有形交互操作所导致；在所述根据所述用户交互意图确定所述虚拟形象的形变状态的步骤之后，还包括：将显示出的所述形变状态下的所述虚拟形象作为针对所述有形交互操作的交互反馈；其中，所述有形交互操作的操作内容包括下述任意一项或多项：所述操作部位的部位姿势、与所述软体实体物的接触面积、所述操作部位与所述软体实体物的操作程度、操作频率、操作时长、操作位置、所述有形交互操作对所述软体实体物造成的冲量；响应于通过所述图像采集装置识别到所述软体实体物上的所述计算机视觉识别纹理的图案发生变化，以及作用于所述软体实体物的有形交互操作，根据所述计算机视觉识别纹理的图案曲率以及所述有形交互操作的操作部位的部位姿势，确定针对所述软体实体物的用户交互意图的步骤，包括：响应于通过所述图像采集装置识别到作用于所述软体实体物的所述有形交互操作的所述操作部位，根据所述操作部位确定所述操作部位的所述部位姿势，并根据所述操作部位以及所述部位姿势生成虚拟部位，通过所述显示装置显示所述虚拟部位；根据所述部位姿势以及所述形变情况确定所述操作部位与所述软体实体物的接触位置；在所述根据所述部位姿势以及所述形变情况确定所述操作部位与所述软体实体物的接触位置的步骤之后，还包括：基于所述接触位置的接触点建立空间坐标系，通过所述空间坐标系的坐标变化信息确定所述接触点的位置变化路径，并将所述位置变化路径量化为接触点运动参数；基于所述形变情况以及所述有形交互操作的操作内容确定所述有形交互操作对所述软体实体物造成的冲量及形变量、操作频率、操作时长以及所述软体实体物的运动学数据，通过算法表达式将所述冲量及所述形变量均量化为互动程度参数，将所述操作频率量化为互动频率参数，将所述操作时长量化为互动时间参数，并将所述运动学数据量化为软体运动参数；根据所述互动程度参数、所述互动频率参数、所述互动时间参数、所述软体运动参数、所述操作部位的姿势、所述接触点运动参数以及当前应用场景对应的参数比例调整输入量，确定所述虚拟形象针对所述有形交互操作的反馈方式以及反馈内容；其中，所述参数比例调整输入量为针对所述互动程度参数、所述互动频率参数、所述互动时间参数、所述软体运动参数以及所述接触点运动参数的比例调整输入量；所述反馈内容包含基于所述形变状态改变显示出的所述虚拟形象。

全文数据：

权利要求：

百度查询： 南方科技大学 MR设备的交互方法、装置以及电子设备