买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学院文献情报中心

摘要：本发明公开了一种自注意力机制嵌入增强方法，属于自然语言处理领域，包括：接收输入文本信息进行特征编码，获得第一编码向量序列；对第一编码向量序列进行时间位移填充，获得第二编码向量序列；对第二编码向量序列进行序列切片，获得第一切片结果、第二切片结果和第三切片结果；对切片结果进行重组，获得第三编码向量序列；通过自注意力机制对第三编码向量序列进行处理，获得拼接加权序列进行输出。通过使自注意力机制融入时间依赖信息，提高模型理解复杂语言结构和捕捉长距离依赖关系能力。

主权项：1.一种自注意力机制嵌入增强方法，其特征在于，包括：接收输入文本信息进行特征编码，获得第一编码向量序列；对所述第一编码向量序列进行时间位移填充，获得第二编码向量序列；对所述第二编码向量序列进行序列切片，获得第一切片结果、第二切片结果和第三切片结果；对所述第一切片结果、所述第二切片结果和所述第三切片结果进行重组，获得第三编码向量序列；通过自注意力机制对所述第三编码向量序列进行处理，获得拼接加权序列进行输出；其中，对所述第一编码向量序列进行时间位移填充，获得第二编码向量序列，包括：对所述第一编码向量序列，构建一个时间步的零填充头部编码向量序列；对所述第一编码向量序列，构建一个时间步的零填充尾部编码向量序列；将所述零填充头部编码向量序列与所述零填充尾部编码向量序列融合至所述第一编码向量序列，获得所述第二编码向量序列；其中，对所述第二编码向量序列进行序列切片，获得第一切片结果、第二切片结果和第三切片结果，包括：获得所述第二编码向量序列的头部子序列、第一子序列、第二子序列直到第N子序列和尾部子序列；分别提取所述头部子序列、所述第一子序列、所述第二子序列直到第N-1子序列的第一时间步的特征信息，构建所述第一切片结果；分别提取所述第一子序列、所述第二子序列直到所述第N子序列的第二时间步的特征信息，构建所述第二切片结果；分别提取所述第二子序列、第三子序列直到所述第N子序列和所述尾部子序列的第三时间步的特征信息，构建所述第三切片结果；其中，对所述第一切片结果、所述第二切片结果和所述第三切片结果进行重组，获得第三编码向量序列，包括：将所述第一切片结果的头部子序列特征信息和所述第二切片结果的第一子序列特征信息对齐，将所述第二切片结果的所述第一子序列特征信息和所述第三切片结果的第二子序列特征信息对齐拼接，生成所述第三编码向量序列。

全文数据：

权利要求：

百度查询： 中国科学院文献情报中心 一种自注意力机制嵌入增强方法