买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：神思电子技术股份有限公司

摘要：本发明公开一种虚拟数字人视线追随交互方法，本方法通过深度神经网络实时生成具有透明背景的、语音驱动其嘴型和姿态的虚拟数字人，然后应用在后，视频在前，点击透传，边缘融合，最后采用响应状态和跟随状态两种方式实现虚拟数字人与应用及用户的交互，响应状态下，确定用户意图及目标控件后，虚拟数字人响应控件在屏幕中的方位指令从而转动身体部位或生成相关表情，其面部、眼睛、手或身体的作用方向是应用界面中的目标控件；处于跟随状态时，虚拟数字人根据摄像头的人像检测信息，将自己眼睛及头部状态跟踪交互用户进行相应运动。本发明使虚拟数字人与应用软件界面更加自然融合，根据应用内容及用户状态使虚拟数字人与用户之间交互自然。

主权项：1.一种虚拟数字人视线追随交互方法，其特征在于：包括以下步骤：S01）、通过深度神经网络实时生成具有透明背景的、语音驱动其嘴型和姿态的虚拟数字人；S02）、以定制的应用界面为背景，虚拟数字人的非透明部分显示在应用界面前方并具有可阻挡用户点击事件的能力，虚拟数字人的透明部分也显示在应用界面前方并具有可透过用户点击事件的能力；S03）、获取与虚拟数字人边缘像素临近的应用背景像素后进行平滑处理，达到虚拟自然人与应用背景的自然融合；S04）、虚拟数字人与应用及用户的交互方式分为响应状态和跟随状态两种，响应状态下，确定用户意图及目标控件后，虚拟数字人响应控件在屏幕中的方位指令从而转动身体部位或生成相关表情，其面部、眼睛、手或身体的作用方向是应用界面中的目标控件；处于跟随状态时，虚拟数字人根据摄像头的人像检测信息，将自己眼睛及头部状态跟踪交互用户进行相应运动，即处于自然跟随模式；步骤S04）中，当虚拟数字人处于跟随状态时，通过设备参数和人脸人体算法计算交互用户与虚拟数字人的相对空间位置，通过概率分布函数控制虚拟数字人的眼睛视线交点作用于用户身体区域，以使得虚拟数字人的眼睛更加有自然有神；采用高斯-瑞利联合概率密度分布函数进行控制虚拟数字人的视线交点位置，其中，在摄像头人像检测信息上用户身体中心线水平左右对称方向通过高斯函数确定x的随机值，在摄像头人像检测信息上用户头部上边缘垂直向下方向由瑞利函数确定y的随机值，然后通过均匀分布仿真上述高斯水平分布及瑞利垂直分布，从而确定虚拟数字人视线作用区域的水平均匀分布边界和垂直均匀分布边界；在响应状态虚拟数字人视线追随时，对设备摄像头人体检测区域进行均匀分块量化编码形成N块区域，通过高斯-瑞利联合概率密度分布函数取得第i块的水平方向高斯分布概率值Xi及垂直方向瑞利分布概率值Yi，假定第i块的被选中的概率在几何上体现为长为Xi宽为Yi的矩形，依照蒙特卡洛方法对N块区域进行随机选取，即可确定当前时刻的虚拟数字人视线交点位置（x,y,z）。

全文数据：

权利要求：

百度查询： 神思电子技术股份有限公司 一种虚拟数字人视线追随交互方法