买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：四川金信石信息技术有限公司

摘要：本发明公开了一种基于声音和语言模型的远程巡视系统控制方法及系统，涉及变电站智能巡视领域，解决现有的远程巡视系统操作繁琐、查询易出错、结果通知不及时的问题；包括：获取语音数据，根据微调的语音识别模型将语音数据转化为文本数据；根据远程巡视专家模型从文本数据中解析意图数据，意图数据包括：需调用服务的API接口和接口参数；解析意图数据中的接口参数，并对接口参数进行增强，得到增强意图数据；根据增强意图数据生成服务调用请求，通过服务调用请求调用远程巡视系统执行服务得到服务结果；将服务结果输入远程巡视专家模型，生成答复文本数据；将答复文本数据转换为答复语音数据输出；基于声音即可控制远程巡视系统。

主权项：1.一种基于声音和语言模型的远程巡视系统控制方法，其特征在于，包括：获取语音数据，根据微调的语音识别模型将所述语音数据转化为文本数据；根据远程巡视专家模型从所述文本数据中解析意图数据，所述意图数据包括：需调用服务的API接口和接口参数，所述远程巡视专家模型为SOTA大语言模型通过训练得到；解析所述意图数据中的接口参数，并对所述接口参数进行增强，得到增强意图数据；根据所述增强意图数据生成服务调用请求，通过所述服务调用请求调用远程巡视系统执行服务得到服务结果；将所述服务结果输入远程巡视专家模型，生成答复文本数据；将所述答复文本数据转换为答复语音数据输出；其中，所述远程巡视专家模型，通过如下方式得到：获取远程巡视系统的API接口和注释，组成意图实现种子库；对所述意图实现种子库中的每个API接口补充远程巡视系统信息的上下文和占位符，生成占位意图表达；将所述占位意图表达输入通用大语言模型进行拓展，组成占位意图表达数据集；对所述占位意图表达数据集进行人工审查，筛除错误的占位意图表达；将占位意图表达数据集中的占位符替换为远程巡视系统中的电力设备信息、点位信息、感知层设备信息，得到意图表达数据集；基于所述意图表达数据集对SOTA大语言模型进行训练，得到远程巡视专家模型；所述增强意图数据，通过如下方式得到：对远程巡视系统中的关系型数据和实体数据进行同步，生成文档数据库，通过词嵌入模型对远程巡视系统中的实体数据进行向量化表达，生成向量数据库；分别在所述文档数据库和所述向量数据库中检索所述接口参数，并对检索结果做交集运算，得到增强后的接口参数；将增强后的接口参数和需调用服务的API接口组合成为增强意图数据；分别在所述文档数据库和所述向量数据库中检索所述接口参数，并对检索结果做交集运算，得到增强后的接口参数；包括：一方面对接口参数进行文档数据库的关键词检索，获取与接口参数相近的实体列表；另一方面将接口参数通过Embeding模型向量化表达后在向量数据库中查询与接口参数语义相近的实体列表；为兼容中文谐音词的情况，首先将两个列表做合并后将列表中的中文转换为拼音，最后将输入的接口参数转换为拼音后，再将它与列表中的拼音做编辑距离相似度计算，从列表中获取相似度最大的搜索结果为最终的输出。

全文数据：

权利要求：

百度查询： 四川金信石信息技术有限公司 一种基于声音和语言模型的远程巡视系统控制方法及系统