买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:淘宝(中国)软件有限公司
摘要:本申请实施例公开了陪伴式智能对话方法及电子设备,所述方法包括:接收用户对话信息;在利用大语言模型对所述用户对话信息进行处理以生成响应文本的过程中或者之后,按照预置的分片策略对所述响应文本进行分片处理,得到响应文本片段;基于所述响应文本片段进行语音合成以及对包含人物形象的基底视频进行口型驱动处理,以便对生成的分片响应内容进行输出。通过本申请实施例,能够降低回复延迟,提升用户体验。
主权项:1.一种陪伴式智能对话方法,其特征在于,包括:接收客户端输入的用户对话信息;在利用大语言模型对所述用户对话信息进行处理以生成响应文本的过程中或者之后,按照预置的分片策略对所述响应文本进行分片处理,得到响应文本片段;在服务端基于所述响应文本片段进行语音合成以及对包含人物形象的基底视频进行口型驱动处理,其中,所述基底视频的视频帧画面中包括前景的人物形象图像以及背景的场景图像,在对包含人物形象的基底视频进行口型驱动处理时,对所述基底视频的多个视频帧进行人脸识别,提取出人脸区域图像序列,并基于所述人脸区域图像序列进行口型驱动处理,以使得所生成的分片响应内容中包括语音合成结果以及口型驱动处理后得到的人脸区域图像序列,并将生成的分片响应内容传输到客户端,由客户端将所述人脸区域图像序列与客户端本地保存的基底视频进行合帧处理,并与语音合成结果进行对齐处理后生成目标视频并进行输出;其中,服务端在完成一个分片的语音合成以及口型驱动处理之后,则向客户端进行传输,并在传输的过程中,进行下一个分片的语音合成以及口型驱动处理,并向客户端进行传输,以使得在客户端播放完成上一个分片的分片响应内容之前完成下一个分片的分片响应内容的生产。
全文数据:
权利要求:
百度查询: 淘宝(中国)软件有限公司 陪伴式智能对话方法及电子设备
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。