买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国平安人寿保险股份有限公司

摘要：本申请涉及人工智能技术领域，具体提供了一种基于BERT的自然语言处理方法及相关设备，其中，该方法包括：获取自然语言文本的词向量；按照第一CUDA程序，将自然语言文本的词向量加载至图形处理器中，以使图形处理器基于自然语言文本的词向量，采用并行处理的方式得到查询矩阵、键矩阵和值矩阵，并将查询矩阵、键矩阵和值矩阵存放至内存中；按照第二CUDA程序，从内存中获取查询矩阵、键矩阵和值矩阵，将查询矩阵、键矩阵和值矩阵加载至图形处理器中，以使图形处理器基于查询矩阵、键矩阵和值矩阵，采用并行处理的方式得到自然语言文本的第一注意力特征。本申请实施例有利于提升自然语言处理的效率。

主权项：1.一种基于BERT的自然语言处理方法，其特征在于，所述方法包括：获取自然语言文本的词向量；按照第一CUDA程序，将所述自然语言文本的词向量加载至图形处理器中，以使所述图形处理器基于所述自然语言文本的词向量，采用并行处理的方式得到查询矩阵、键矩阵和值矩阵，并将所述查询矩阵、所述键矩阵和所述值矩阵存放至内存中；按照第二CUDA程序，从内存中获取所述查询矩阵、键矩阵和值矩阵，将所述查询矩阵、键矩阵和值矩阵加载至所述图形处理器中，以使所述图形处理器基于所述查询矩阵、键矩阵和值矩阵，采用并行处理的方式得到所述自然语言文本的第一注意力特征；所述将所述自然语言文本的词向量加载至图形处理器中，以使所述图形处理器基于所述自然语言文本的词向量，采用并行处理的方式得到查询矩阵、键矩阵和值矩阵，包括：将所述自然语言文本的词向量加载至图形处理器中，以使所述图形处理器基于所述自然语言文本的词向量构建对应的查询向量、键向量和值向量；从内存中获取查询权重矩阵、键权重矩阵和值权重矩阵；将所述查询权重矩阵、所述键权重矩阵和所述值权重矩阵加载至所述图形处理器中，以使所述图形处理器基于所述查询向量和所述查询权重矩阵、所述键向量和所述键权重矩阵、以及所述值向量和所述值权重矩阵并行计算出所述查询矩阵、所述键矩阵和所述值矩阵；所述将所述查询矩阵、键矩阵和值矩阵加载至所述图形处理器中，以使所述图形处理器基于所述查询矩阵、键矩阵和值矩阵，采用并行处理的方式得到所述自然语言文本的第一注意力特征，包括：将所述查询矩阵、键矩阵和值矩阵加载至所述图形处理器中，以使所述图形处理器基于所述查询矩阵、所述键矩阵和所述值矩阵并行计算出注意力权重；将所述注意力权重与所述值矩阵相乘，得到所述自然语言文本的第一注意力特征。

全文数据：

权利要求：

百度查询： 中国平安人寿保险股份有限公司 基于BERT的自然语言处理方法及相关设备