买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:平安国际智慧城市科技股份有限公司
摘要:本发明涉及人工智能技术领域,提供一种文本摘要生成方法、装置、电子设备及存储介质,提取语料文本中的第一命名实体,从而基于语料文本及第一命名实体生成训练文本并基于多个训练文本训练BERT模型,通过训练得到的BERT模型输出预测文本摘要,在获取预测文本摘要中的第二命名实体之后,根据第一命名实体、预测文本摘要及第二命名实体生成整体风险损失值,从而基于整体风险损失值优化所述BERT模型,得到文本摘要生成模型,最后使用文本摘要生成模型生成目标文本的文本摘要。本发明通过引入命名实体训练BERT模型,再通过BERT模型预测文本摘要,提高了文本摘要中命名实体的准确度,从而减少了文本摘要中命名实体错误的情况,提高了生成文本摘要的准确度。
主权项:1.一种文本摘要生成方法,其特征在于,所述方法包括:获取多个语料文本,并提取每个所述语料文本中的第一命名实体,包括:将所述语料文本中被选定的语料文本确定为训练集;对所述训练集中的每个语料文本进行预处理;对预处理后的语料文本进行命名实体标注,得到命名实体标签向量,将所述语料文本与所述命名实体标签向量作为标注语料集;构建基于BiLSTM-CRF和注意力机制的神经网络模型;基于所述标注语料集对所述神经网络模型进行训练,得到命名实体识别模型;使用所述命名实体识别模型识别所述语料文本中未被用户选定的语料文本的命名实体,得到所述第一命名实体;其中,所述对所述训练集中的每个语料文本进行预处理包括:对所述语料文本进行分词处理,得到多个关键词;利用预设词嵌入模型获取所述语料文本中每一个关键词的词向量;所述基于所述标注语料集对所述神经网络模型进行训练,得到命名实体识别模型包括:构建实体边界特征向量,所述实体边界特征向量包括实体起始位置标记向量和实体长度标记向量;将所述语料文本的字向量、所述命名实体标签向量、所述实体起始位置标记向量和所述实体长度标记向量拼接后输入至所述神经网络模型的输入层;将所述输入层得到的字向量输入至所述神经网络模型的BiLSTM层和注意力机制层;在所述BiLSTM层获取所述字向量的双向特征向量;在所述注意力机制层将表示所述字向量顺序的位置向量和所述双向特征向量进行拼接并分配权重系数,得到特征向量;在所述神经网络模型的CRF层获取所述特征向量计算出的标注序列;在所述神经网络模型的输出层输出所述标注序列;基于所述标注序列迭代训练所述神经网络模型,直至达到预设迭代次数或者模型损失值满足预设条件,得到所述命名实体识别模型;基于所述语料文本及对应的第一命名实体生成训练文本,包括:确定每个所述命名实体中的每个字符在对应的所述语料文本中的第一位置;根据所述第一位置确定所述命名实体在对应的所述语料文本中的第二位置;根据预设标识符,将所述语料文本及对应的命名实体和所述第二位置对应的位置字符进行拼接,得到训练文本;基于多个所述训练文本训练BERT模型;获取所述BERT模型输出的预测文本摘要,及获取所述预测文本摘要中的第二命名实体;根据所述第一命名实体、所述预测文本摘要及所述第二命名实体生成整体风险损失值;基于所述整体风险损失值优化所述BERT模型,得到文本摘要生成模型;使用所述文本摘要生成模型生成目标文本的文本摘要。
全文数据:
权利要求:
百度查询: 平安国际智慧城市科技股份有限公司 文本摘要生成方法、装置、电子设备及存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。