买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：平安银行股份有限公司

摘要：本发明涉及人工智能技术，揭露了一种基于图文聊天记录的自动答疑方法，包括：获取询问记录进行数据类型分类，得到文本数据集合以及图片数据集合；识别图片数据集合的表达内容，得到图片关键字序列集合；将文本数据集合及图片关键字序列集合进行排列组合，得到纯文本记录；对纯文本记录进行分词处理，并将分词结果进行量化处理；对词向量集合进行语义识别，得到询问记录对应的问题关键字；利用问题关键字，查询问答数据库，得到询问记录对应的解决方案。此外，本发明还涉及区块链技术，所述问答数据库可构建于区块链的节点中。本发明还提出一种基于图文聊天记录的自动答疑装置、电子设备以及存储介质。本发明可以提高自动答疑的准确性。

主权项：1.一种基于图文聊天记录的自动答疑方法，其特征在于，所述方法包括：获取客户发送的询问记录，并对所述询问记录进行数据类型分类，得到文本数据集合以及图片数据集合；利用预训练的图片识别网络识别所述图片数据集合中各个图片数据的表达内容，得到图片关键字序列集合，包括：利用预训练的图片识别网络中的特征提取网络提取所述图片数据集合中的图像特征，得到特征序列集合，利用所述图片识别网络中的全连接层对所述特征序列集合进行特征识别，并根据识别结果自动标注各个图片数据中的出现的各个物体的属性信息，将所述各个图片数据中的各个物体的属性信息作为关键字输出，得到图片关键字序列集合，其中，所述利用所述图片识别网络中全连接层对所述特征序列集合进行特征识别，包括：将所述特征序列集合中的若干个特征序列连接到一起得到一个长序列，再将所述长序列经过全连接层中的多层神经网路，通过各层神经网络中的激活函数进行运算，最终判断所述图片数据中包含的物体；根据所述询问记录中的各语句的先后顺序，将所述文本数据集合及所述图片关键字序列集合进行排列组合，得到纯文本记录；利用预构建的滑动窗口依次对所述纯文本记录进行滑动访问，当所述滑动窗口中为图片关键字序列时，跳过所述图片关键字序列，当所述滑动窗口中为文本数据时，利用所述滑动窗口对所述纯文本记录进行预设步长的截取操作，得到多个组合词，查询预构建的词语数据库，判断每个所述组合词是否为词语，将判断为词语的组合词与所述图片关键字序列进行输出，得到分词结果，利用word2Vec模型量化所述分词结果，得到初始词向量集合，根据所述询问记录中的各语句的先后顺序，利用预设的位置编码对所述初始词向量集合进行配置，得到词向量集合；利用预构建的bert卷积神经网络中的注意力机制，对所述词向量集合中所述组合词对应的词向量与所述图片关键字序列对应的词向量进行权重配置，得到注意力向量矩阵，提取所述注意力向量矩阵中的特征，得到注意力特征，对所述注意力特征进行识别，得到所述询问记录对应的表达含义，根据预设的关键字类别，从所述表达含义中提取问题关键字；利用所述问题关键字，查询预构建的问答数据库，得到所述询问记录对应的解决方案。

全文数据：

权利要求：

百度查询： 平安银行股份有限公司 基于图文聊天记录的自动答疑方法、装置、设备及介质