买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜北京长河数智科技有限责任公司;长河信息股份有限公司申请的专利一种基于Transformer的摘要生成方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118885608B 。

龙图腾网通过国家知识产权局官网在2025-04-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411018664.0，技术领域涉及：G06F16/34；该发明授权一种基于Transformer的摘要生成方法是由张煇;剌昊跃;师盼磊设计研发完成，并于2024-07-29向国家知识产权局提交的专利申请。

本一种基于Transformer的摘要生成方法在说明书摘要公布了：本申请公开了一种基于Transformer的摘要生成方法，涉及摘要生成技术领域，包括：获取文本序列；建立语言模型获取词嵌入矩阵；将词嵌入矩阵输入位置编码模型进行位置编码，得到加入位置信息的词嵌入矩阵；构建Transformer模型，生成摘要；Transformer模型包含编码器和解码器，编码器通过多层注意力机制编码输入文本序列的语义信息；解码器通过多层注意力机制生成摘要序列；解码器包含自注意力层，在自注意力层中，通过全连接网络获得遮挡向量，将遮挡向量与解码器内部的键值表示进行点积计算，以获得调整后的注意力权重分布；在编码器和解码器之间建立残差连接，将编码器输出的语义特征直接输入到解码器。针对现有技术中生成摘要精度低的问题，本申请提高摘要精度。

本发明授权一种基于Transformer的摘要生成方法在权利要求书中公布了：1.一种基于Transformer的摘要生成方法，包括：获取待生成摘要的输入文本序列；建立语言模型，对输入的文本序列进行词嵌入表示，得到词嵌入矩阵；将词嵌入矩阵输入预训练的位置编码模型进行位置编码，得到加入位置信息的词嵌入矩阵；构建Transformer模型，将加入位置信息的词嵌入矩阵作为输入，利用Transformer模型对输入文本序列进行编码和解码，生成输入文本序列的摘要；在词嵌入表示中加入位置编码，包括：获取词嵌入矩阵中每个词向量的位置信息，构建位置信息矩阵；其中，位置信息包含：词向量在序列中的绝对位置pos，词向量的维度索引i以及词向量的总维度dmodel；对于词嵌入矩阵中的每个词向量，计算每个词向量的位置编码，得到位置编码矩阵；将位置编码矩阵与词嵌入矩阵逐元素相加，得到加入位置编码的词嵌入矩阵；计算每个词向量的位置编码，包括：构建位置编码模型，用于根据词向量的位置信息生成对应的位置编码；其中，位置编码模型包含位置编码层，位置编码层采用前馈神经网络结构，用于学习位置信息到位置编码的映射函数，位置编码层的输入为得到的位置信息矩阵，输出为对应的位置编码矩阵；对于位置信息矩阵中的每个位置信息向量，利用位置编码层计算位置映射函数： 其中，和为位置编码层的学习权重矩阵，和表示位置编码层的偏置向量，Gelu为高斯激活函数；和分别表示位置偏移量和缩放因子；位置编码层包含门控单元，位置编码层输出的位置编码经门控单元正则化处理，门控单元包含sigmoid激活的门控向量g，对位置编码进行缩放处理，得到缩放处理后的位置映射函数： 其中，g为门控向量，取值范围0至1；计算位置编码： 。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京长河数智科技有限责任公司;长河信息股份有限公司，其通讯地址为：100071 北京市丰台区汽车博物馆西路8号院3号楼7层705；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。