买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京广益集思智能科技有限公司

摘要：本发明公开了一种基于GAN神经网络系统的数字人直播方法，涉及网络直播技术领域，本发明将采用自然语言处理NLP技术对用户问题进行聚类和合并，快速识别和筛选相似问题；利用机器学习算法对问题进行优先级排序，并结合预设答案数据库自动生成部分回复，使虚拟人只需回答核心问题，大幅提升交互效率和用户体验；使用条件生成对抗网络cGAN，结合环境音频和实时文本信息进行图像生成，多尺度生成器架构在生成低分辨率全局图像的同时，生成高分辨率的局部细节图像，采用多判别器结构，分别进行全局图像判别、局部细节判别和面部表情判别；每个判别器独立工作，根据各自的判别标准输出结果。

主权项：1.一种基于GAN神经网络系统的数字人直播方法，其特征在于，GAN神经网络系统包括：输入模块、数据预处理模块、生成模块、判别模块、渲染模块和输出模块，基于GAN神经网络系统的数字人直播方法包括：步骤1.输入模块采用麦克风收集用户输入的音频和文本指令，并基于自然语言处理技术将指令用于控制虚拟人的行为和对话；同时进行批量问题处理；输入模块内置批量问题处理模块，采用自然语言处理NLP技术对用户提出的问题进行聚类，识别相似问题并进行合并；使用机器学习算法对问题进行优先级排序，结合预设答案数据库，自动生成部分回复；步骤2.数据预处理模块对采集到的音频和文本数据进行预处理，包括去噪和格式转换；步骤3.生成模块使用条件GAN将预处理后的音频和文本数据作为条件输入，生成与输入数据语义一致的虚拟人影像；在生成器中加入条件输入模块，结合环境音频、实时文本信息进行图像生成；生成模块采用多尺度生成器架构，同时生成低分辨率的全局图像和高分辨率的局部细节图像，并将图像进行融合，采用自适应权重机制动态调整各尺度特征的融合比例；步骤4.判别模块采用多判别器结构，不同判别器分别进行全局图像判别、局部细节判别以及面部表情判别；步骤5.对抗训练的动态权重调整，根据生成器和判别器的损失变化，动态调整损失函数权重；步骤6.图像后处理与渲染，基于渲染模块对生成的虚拟人影像进行后处理，包括细节增强、色彩调整，将处理后的影像与背景视频进行融合，生成最终的直播画面；步骤7.直播输出，输出模块将最终的直播画面编码压缩，通过直播平台进行实时推流。

全文数据：

权利要求：

百度查询： 北京广益集思智能科技有限公司 一种基于GAN神经网络系统的数字人直播方法