买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：云启智慧科技有限公司

摘要：本发明提供一种基于自然语言处理的智能育儿系统和装置，属于设备监控技术领域，包括：育儿百科模块，其配置获取育儿资源数据，利用育儿资源数据对语言大模型进行训练；育儿纠错模块，其配置为对日常对话进行实时监控，捕获到语音后进行文本转换，利用预训练的分类模型对文本进行分类，得到文本标签和概率值，文本标签包括文本需要纠错，将文本标签为文本需要纠错的文本传输至知识库中，得到纠错反馈，根据概率值确定纠错反馈的方式并传达给用户；智能陪伴模块，其配置为根据年龄阶段形成对应的陪伴方式，结合知识库对不同年龄阶段的儿童进行智能陪伴。本发明不仅能提供健康科学的育儿知识，还能有效监督育儿方法的有效应用。

主权项：1.一种基于自然语言处理的智能育儿系统，其特征在于，包括：育儿百科模块，其配置获取育儿资源数据，利用育儿资源数据对语言大模型进行训练，将训练后的语言大模型作为知识库，并采用离线部署；语言大模型的训练过程为：获取育儿相关的文本数据；将文本数据进行格式转换，形成json格式的文本数据，json格式中包括prompt、response和history，其中prompt为育儿问题，response为该问题的相关解答，history代表多轮问答的上下文信息；获取经过语言基础训练的语言大模型，语言大模型采用基于transformer的网络框架；利用多查询注意力对语言大模型进行模型加速，并采用json格式的文本数据对语言大模型进行模型微调，得到训练后的语言大模型；多查询注意力的计算过程为：输入查询矩阵Q、键矩阵K和值矩阵V；将查询矩阵Q分成多个查询向量Q1,Q2,...,Qm；对每个查询向量Qx，计算Qx与键矩阵K之间的注意力分数：将注意力分数归一化，得到注意力权重；将注意力权重与值矩阵中的值向量进行加权求和，得到对查询的注意力表示，其注意力公式如下： 式中，sim代表相似度计算，Kx和Vx分别表示K和V中的向量，Kx和Vx均通过共享注意力头的K和V矩阵得到；模型微调的过程为：将json格式的文本数据输入语言大模型中，并在输入层的每一层中添加可微调参数prefix；对语言大模型进行第一次微调训练，将json格式的文本数据与相应的prefix进行拼接，生成与育儿相关的内容，通过最小化生成结果与标准答案之间的差异来更新prompt参数，其中，在该次训练中，仅对prompt参数进行微调，保持其他参数不变；在第一次微调训练完成后，对语言大模型进行第二次微调训练，利用json格式的文本数据对语言大模型进行进一步的训练，通过最小化生成结果与标准答案之间的差异来更新模型的参数，其中，在该次训练中，将prompt参数冻结，对其他参数和prefix进行微调；育儿纠错模块，其配置为对日常对话进行实时监控，捕获到语音后进行文本转换，利用预训练的分类模型对文本进行分类，得到文本标签和概率值，文本标签包括文本需要纠错，将文本标签为文本需要纠错的文本传输至知识库中，得到纠错反馈，根据概率值确定纠错反馈的方式并传达给用户；智能陪伴模块，其配置为根据年龄阶段形成对应的陪伴方式，结合知识库对不同年龄阶段的儿童进行智能陪伴。

全文数据：

权利要求：

百度查询： 云启智慧科技有限公司 一种基于自然语言处理的智能育儿系统和装置