买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：京东科技控股股份有限公司

摘要：本申请提出一种文本数据的处理方法、装置、计算机设备和存储介质，方法包括：获取文本数据集，文本数据集中包括多个文本数据及每个文本数据对应的标签信息，对文本数据集进行处理，以获取N个训练集及对应的N个测试集，N个训练集及N个测试集互不相同，且N个测试集组成文本数据集，N为大于1的整数，利用N个训练集分别训练N个识别模型，并分别利用每个识别模型对对应的测试集中的文本数据进行识别，以确定文本数据集中每个文本数据对应的预测标签，根据每个文本数据对应的预测标签与标签信息的差异程度，对文本数据集中的文本数据进行处理。由此，能够快速地筛选出训练文本数据中的错误标注，提高了训练文本数据的质检清洗速度和效率。

主权项：1.一种文本数据的处理方法，其特征在于，包括：获取文本数据集，其中，所述文本数据集中包括多个文本数据及每个文本数据对应的标签信息；对所述文本数据集进行处理，以获取N个训练集及对应的N个测试集，其中，所述N个训练集及N个测试集互不相同，且所述N个测试集组成所述文本数据集，N为大于1的整数；利用所述N个训练集分别训练N个识别模型，其中，每个训练集对应一个识别模型；分别利用每个所述识别模型，对对应的测试集中的文本数据进行识别，以确定所述文本数据集中每个所述文本数据对应的预测标签；根据每个所述文本数据对应的预测标签与所述标签信息的差异程度，对所述文本数据集中的文本数据进行处理；其中，每个所述文本数据对应的预测标签为每个所述文本数据对应的标签分布概率矩阵，其中，所述标签分布概率矩阵的第i行第j列个元素，表示所述文本数据中的第j个字符属于第i类标签的概率值，i和j分别为自然数，所述根据每个所述文本数据对应的预测标签与所述标签信息的差异程度，对所述文本数据集中的文本数据进行处理，包括：根据每个所述文本数据对应的标签分布概率矩阵及标签信息，确定每类标签对应的置信度阈值；根据每类标签对应的置信度阈值及每个所述文本数据对应的标签分布概率矩阵，确定每个所述文本数据中每个字符对应的预测标签；根据每个所述文本数据中包含的预测标签与标签信息不同的字符的数量，确定每个所述文本数据的置信度；将置信度小于阈值的文本数据，确定为错误标注文本数据。

全文数据：

权利要求：

百度查询： 京东科技控股股份有限公司 文本数据的处理方法、装置、计算机设备和存储介质