买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中航信移动科技有限公司

摘要：本发明涉及数据清洗领域，特别是涉及一种基于大语言模型的向量库清洗方法、存储介质及电子设备。包括：以问题ID对多个记录进行聚类，生成多个记录族群；根据在历史数据中大语言模型对每一记录的召回次数及对应的用户问答行为，对记录族群中的每一记录进行有效性评判处理，生成每一记录对应的有效值；将记录族群中有效值小于第一阈值的记录清除。本发明通过第一子有效值与第二子有效值相结合的方式，可以更加准确的通过有效值表示出每一记录在大语言模型的实际使用中的有效性。由此，可以将记录族群中有效值小于第一阈值的记录清除，进而减少对引导库内存的无效占用。

主权项：1.一种基于大语言模型的向量库清洗方法，其特征在于，所述方法包括如下步骤：获取待清洗向量数据库，所述待清洗向量数据库包括多个记录，多个记录中存在相似记录；每一记录包括一个问答对及问题ID，所述问题ID为问答对中问题部分对应的向量编码，所述问答对中答案部分作为大语言模型回答与问题部分相近提问时的参考信息；以问题ID对多个记录进行聚类，生成多个记录族群；根据在历史数据中大语言模型对每一记录的召回次数及对应的用户问答行为，对记录族群中的每一记录进行有效性评判处理，生成每一记录对应的有效值；将记录族群中有效值小于第一阈值的记录清除；所述有效性评判处理包括：根据大语言模型对每一记录召回次数，生成每一记录对应的第一子有效值；Ani为第n个记录族群中的第i个记录对应的第一子有效值；从大语言模型生成的历史问答信息中，获取交互问答对信息；每一交互问答对信息包括两个相邻的问答对话中分别对应的提问信息、分别召回的记录以及召回的记录所属记录族群的族群ID；若交互问答对信息中的两个提问信息的相似度大于第二阈值，且两次提问对应召回的记录所属记录族群的族群ID相同，则对交互问答对中首次召回的每一记录对应的无效召回次数累计加1；将每一记录对应的总计无效召回次数，作为每一记录对应的第二子有效值；Bni为第n个记录族群中的第i个记录对应的第二子有效值；根据每一记录对应的第一子有效值及第二子有效值，生成每一记录对应的有效值；Cni为第n个记录族群中的第i个记录对应的有效值，Cni满足如下条件： ，其中，k大于1；在从大语言模型生成的历史问答信息中，获取交互问答对信息之后，所述有效性评判处理还包括：若交互问答对信息中的两个提问信息的相似度小于第二阈值，则保持交互问答对中首次召回的每一记录对应的无效召回次数不变；在从大语言模型生成的历史问答信息中，获取交互问答对信息之后，所述有效性评判处理还包括：若交互问答对信息中的两个提问信息的相似度大于第二阈值，且两次提问对应召回的记录所属记录族群的族群ID不相同，则保持交互问答对中首次召回的每一记录对应的无效召回次数不变；所述方法还包括：根据用户输入的提问信息对应的向量编码，生成对应的提问ID；所述提问ID与问题ID使用同样的向量编码技术；根据提问ID与待清洗向量数据库中问题ID之间的相似度，筛选至少一个记录进行召回；将召回的记录与用户输入的提问信息拼接后，生成新的提问信息并输入大语言模型。

全文数据：

权利要求：

百度查询： 中航信移动科技有限公司 一种基于大语言模型的向量库清洗方法、存储介质及电子设备