买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：广州讯鸿网络技术有限公司

摘要：本发明涉及自然语言处理技术领域，公开了一种全媒体交互式智能客服交互方法及系统，包括步骤：S1：接收用户的输入；S2：根据用户输入评估判断用户情绪状态；S3：根据评估判断的用户情绪态度调整自适应学习系统中的答复策略，即基于用户的情绪状态愤怒、悲伤、高兴、中性，选择对应的答复模板；S4：根基于选择的答复模版使用自然语言生成填充模板中的占位符，并将答复以文本或语音或图像或视频多媒体形式输出至用户。本申请评估判断的用户情绪态度时考虑文本、语音、图像情况以及用户历史数据情况，并采用层次性动态激活函数进行情绪预测，大大提高了用户情绪判断准确性和效率，极大增加用户体验。

主权项：1.一种全媒体交互式智能客服交互方法，其特征在于，包括步骤：S1：接收用户的输入，包括文本和或语音和或图像和或视频；S2：根据用户输入评估判断用户情绪状态；S21：若存在文本输入，对输入的文本进行分词和词性标注，若有语音输入则将语音转换为文本，采用TF-IDF算法计算输入的文本和转换文本中每个词的重要性，即计算出的每个词的TF-IDF值越高则重要性越大；将输入的文本和转换文本转换为数值特征向量T1；即利用TF-IDF算法计算文档中的每个词的TF-IDF值，然后将计算出的TF-IDF值组合成一个向量，每个TF-IDF值对应一个唯一的词；S22：若有语音输入，则获取语音的音调、强度、语速、节奏形成特征向量T2；S23：若存在图像或视频输入，则利用Haar级联分类器进行面部识别，采用Dlib的68点模型识别面部关键点，面部关键点包括眉毛、眼睛、鼻子、嘴巴、下巴，计算面部关键点的位置变化包括眉毛的抬起速度和幅度、嘴角上扬下垂速度和幅度并形成特征向量T3；S24：将特征向量T1、特征向量T2、特征向量T3输入至改进的卷积神经网络，计算用户情绪态度；其中，改进的卷积神经网络采用层次性动态激活函数fx,m：fx,m＝ReLUx×wm+δhm,x 其中，x表示网络层的输入，wm表示对应的多媒体模态m的初始权重，当m＝1时表示输入的是文本，当m＝2时表示输入的是语音，当m＝3时表示输入的是图像，当m＝4时表示输入的是视频，δhm,x表示用户历史数据hm与当前网络层的输入x的相似度调整权重，Dhm,x表示用户历史数据hm与当前网络层的输入x的余弦相似度，α为第一可学参数，β为第二可学参数；m表示不同的多媒体模态；S3：根据评估判断的用户情绪态度调整自适应学习系统中的答复策略，即基于用户的情绪状态愤怒、悲伤、高兴、中性，选择对应的答复模板；S4：基于选择的答复模版使用自然语言生成填充模板中的占位符，并将答复以文本或语音或图像或视频多媒体形式输出至用户；所述Dhm,x表示用户历史数据hm与当前网络层的输入x的余弦相似度，当输入的是文本时，则对历史文本数据进行K-means聚类，将当前网络层的输入x与历史文本数据聚类中心向量进行余弦相似度计算；当输入是语音时，将当前网络层的输入x与历史语音数据的音调、强度、语速、节奏历史均值向量进行余弦相似度计算；当输入为图像或视频时，将当前网络层的输入x与历史图像或视频数据眉毛的抬起速度和幅度、嘴角上扬下垂速度和幅度形成的历史均值特征向量进行余弦相似度计算。

全文数据：

权利要求：

百度查询： 广州讯鸿网络技术有限公司 一种全媒体交互式智能客服交互方法及系统