买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京长河数智科技有限责任公司;长河信息股份有限公司

摘要：本申请公开了一种基于多维向量融合的政务事项对话推荐方法，涉及政务推荐技术领域，包括：收集包含用户文本、用户行为日志、图像和音频信号的多模态数据；利用自然语言处理方法提取文本特征；利用统计方法提取用户行为特征；利用计算机视觉方法提取图像特征；利用数字信号处理方法提取音频特征；对提取特征进行归一化处理；采用多视图表示学习算法，将归一化后的不同类型特征作为不同的视图，通过目标函数，获取不同视图的权重系数；根据权重系数得到融合的多模态特征表示；构建神经网络模型，输出政务事项推荐结果。针对现有技术中政务服务对话系统中存在用户意图理解精度低的问题，本申请提高政务事项的推荐精度。

主权项：1.一种基于多维向量融合的政务事项对话推荐方法，包括：收集包含用户文本、用户行为日志、图像和音频信号的多模态数据；从用户文本中利用自然语言处理方法提取文本特征；从用户行为日志中利用统计方法提取用户行为特征；从图像中利用计算机视觉方法提取图像特征；从音频信号中利用数字信号处理方法提取音频特征；对提取的文本特征、用户行为特征、图像特征和音频特征分别进行归一化处理；其中，归一化处理，包含：获取文本特征向量tf、用户行为特征向量uf、图像特征向量imf和音频特征－向量af；计算文本特征向量tf的L2范数||tf||2；根据范数||tf||2，得到归一化后的文本特征向量tf'＝tf||tf||2；计算用户行为特征向量uf中元素的最小值minuf和最大值maxuf；根据最小值minuf和最大值maxuf，得到归一化后的用户行为特征向量uf'＝uf-minufmaxuf-minuf；计算图像特征向量imf中元素的均值meanimf和标准差stdimf；根据均值meanimf和标准差stdimf，得到归一化后的图像特征向量imf'＝imf-meanimfstdimf；计算音频特征向量af的euclidean范数||af||E；根据范数||af||E，得到归一化后的音频特征向量af'＝af||af||E；采用多视图表示学习算法，将归一化后的文本特征、用户行为特征、图像特征和音频特征作为不同的视图，通过目标函数，获取不同视图的权重系数；其中，获取不同视图权重系数，包含：根据归一化后的文本特征向量tf'、用户行为特征向量uf'、图像特征向量imf'和音频特征向量af'，构建多视图特征矩阵MF，MF＝[tf',uf',imf',af']；构建目标函数其中W为权重矩阵，λ为正则化参数；||W||F表示Frobenius范数；||W||1表示L1范数；采用交替优化算法求解目标函数LW，得到最优权重矩阵W*；从最优权重矩阵W*中获取不同特征视图的权重向量wtf、wuf、wimf和waf；将不同视图的特征向量与对应的权重系数相乘，得到融合的多模态特征表示：将文本特征向量tf'、用户行为特征向量uf'、图像特征向量imf'和音频特征向量af'，分别与对应的权重向量进行加权融合；拼接加权融合后的特征向量，得到最终的融合特征向量vfused；构建神经网络模型，将融合的多模态特征表示作为输入，输出政务事项推荐结果。

全文数据：

权利要求：

百度查询： 北京长河数智科技有限责任公司 长河信息股份有限公司 一种基于多维向量融合的政务事项对话推荐方法