买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州原数科技有限公司

摘要：本申请公开了一种基于大模型的导览方法，涉及信息技术领域，包括：利用Milvus向量数据库存储向量数据，构建景区知识库；获取用户的语音数据并转换为文本数据；获取与文本数据相似度最高的前K个知识库内容；构建包含知识库信息的问题提示数据；将构建的问题提示数据输入到预训练的大模型中进行推理，提取语义信息，判断问题所属的类型；将得到的问题类型，从预设的外部API接口中选择与问题类型对应的API接口，并获取API接口的外部信息；将获取的外部信息和问题所属的类型进行融合，采用自然语言生成算法，基于预设的答案生成模板和融合规则，生成最终的答案文本。针对现有技术中景区导览服务回答精度低的问题，本申请提高了智能导览回答内容的精度。

主权项：1.一种基于大模型的导览方法，包括：采集景区或展馆的知识内容，将采集的知识内容转换为结构化的向量数据，利用Milvus向量数据库存储向量数据，构建景区知识库，知识内容包含景区或展馆的信息；获取用户的提问语音数据，将采集的提问语音数据转换为文本数据，对文本数据进行预处理；将预处理后的文本数据输入预训练的大模型中进行推理，提取语义信息，判断问题所属的类型；其中，问题包含知识型问题和功能型问题；大模型表示大规模语料库上预训练得到的深度学习语言模型；将知识型问题通过嵌入式文字搜索算法与构建的景区知识库进行匹配，获取与文本数据相似度最高的前K个知识库内容；根据获取到的功能型问题，从预设的外部API接口中选择与功能型问题对应的API接口，并获取API接口的外部信息，外部信息包含：景区实时天气、往返车票信息、酒店信息或藏品信息；将获取的外部信息和前K个知识库内容进行融合，采用自然语言生成算法，基于预设的答案生成模板和融合规则，生成最终的答案文本，并将生成的答案文本返回给用户；将采集的知识内容转换为结构化的向量数据，包括：对文本数据进行分词、词性标注和命名实体识别处理，提取文本特征；对图像和视频数据进行目标检测、图像分割和关键帧提取处理，提取视觉特征；对音频数据进行语音识别和声学特征提取处理，提取音频特征；将提取的文本特征、视觉特征和音频特征进行融合，生成多模态融合特征向量，作为结构化的向量数据；提取文本特征，包括：采用基于BERT的中文分词算法对文本数据进行分词处理，将文本数据切分为语义单元；采用BiLSTM-CRF算法对分词后的文本进行词性标注，识别每个语义单元的词性信息；根据分词后的文本，采用结合注意力机制的BiLSTM-CRF算法进行命名实体识别；根据分词处理结果、词性标注结果和命名实体识别结果，采用基于BERT的词嵌入算法，提取文本数据的语义特征向量，作为文本特征；提取视觉特征，包括：采用YOLOv5算法对图像和视频帧进行目标检测，识别和定位图像中的物体；采用Deeplabv3算法对图像和视频帧进行语义分割，将图像划分为不同的语义区域；根据目标检测结果和语义分割结果，采用I3D算法提取图像和视频帧的视觉特征向量，作为视觉特征；提取音频特征，包括：采用conformer算法将音频数据转换为文本数据；采用XLSR算法提取音频数据的声学特征，声学特征包含MFCC；根据文本数据和声学特征，采用ECPAP-TDNN算法提取音频数据的音频特征向量，作为音频特征。

全文数据：

权利要求：

百度查询： 杭州原数科技有限公司 一种基于大模型的导览方法