买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜浪潮软件科技有限公司申请的专利一种融合多层前馈表征的预训练方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114912606B 。

龙图腾网通过国家知识产权局官网在2025-05-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210433291.8，技术领域涉及：G06N3/0895；该发明授权一种融合多层前馈表征的预训练方法及装置是由王宗增;杨培强;程林设计研发完成，并于2022-04-24向国家知识产权局提交的专利申请。

本一种融合多层前馈表征的预训练方法及装置在说明书摘要公布了：本发明涉及深度学习技术领域，具体提供了一种融合多层前馈表征的预训练方法，具有如下步骤：S1、对文本数据进行采集；S2、设定多任务学习的任务分类类别；S3、依据选定的任务类型，分别应对预处理相应的文本；S4、网络结构的设定和代码编写；S5、实现层间拉平的文本向量的融合；S6、Specific‑task的MLP设计和编程实现；S7、数据策略和算法制定；S8、整合步骤S4至S7代码，进行End‑to‑End的全网络前馈流程；S9、使用预处理后的文本数据对模型进行训练，达到全局最优；S10、序列化训练好的融合多层前馈表征的预训练语言模型；S11、Encoder分别后接Specific‑task后处理模型。与现有技术相比，本发明通过融合手段有效提升了词向量的全局文本表征能力。

本发明授权一种融合多层前馈表征的预训练方法及装置在权利要求书中公布了：1.一种融合多层前馈表征的预训练方法，其特征在于，具有如下步骤：S1、对文本数据进行采集；S2、设定多任务学习的特定任务类别，同时包括NSP下句预测的句子对任务和SQuAD阅读理解任务；S3、依据选定的任务类型，分别应对预处理相应的文本，包括监督型的打标任务和无标签数据的Self-train策略定制；在DataAugmentation上，对后置词语分类特定任务的语料，基于Skip-Gram的WordEmbedding进行WordMixup，同时针对标签进行LabelSmoothing；融合Self-training弱监督学习PureSemi-supervisedLearning，对无监督数据进行有效利用；S4、网络结构的设定和代码编写；Encoder部分使用14头Multi-headedAttention多头注意力机制、PositionEmbedding位置嵌入，主动放大SequenceMask，对多层Encoder的全局向量表征，使用BERTbase-chinese的12层FeedForward结构；S5、制定并编写代码，实现层间拉平的文本向量的融合；多层向量表征的融合上，采用两种融合策略，一种融合策略为借鉴SENet对各层表征进行LN操作，并进行一维全局maximumpooling，随后接入2层的FC，得到各层向量表征的重要程度，最终对多层向量表征进行加权融合；所述的两种融合策略中第二种融合策略为将多层向量表征的层关系视为Channel深度关系，先通过少于Channel数的Point-wiseConvolution进行通道减少并缓解混叠，随后进行单滤波器的Point-wiseConvolution将特征Flatten为1d向量，紧接着连接输出层构建FC网络，所述FC网络的输出维度等同于输入1d向量的维度，从而通过网络结构的专门设定实现了多层向量表征的融合；FeedForward前馈部分，借鉴CSPDarknet-53调整BERTbase的ResNet-shortcut为CSP结构，设定Bottleneck模块数为6，将CSP替换为1d卷积，并保留BN操作，同时采用GELU激活函数；S6、Specific-task的MLP设计和编程实现；S7、数据策略和算法制定，并编写代码；构建Multi-tasklearning训练目标，通过实验Coding实现并验证比对GLUE各类任务对应的损失函数，最终选择SoftF1Loss替换原网络中的交叉熵损失作为最终的策略要素；S8、整合步骤S4至S7代码，进行End-to-End的全网络前馈流程；通过引入指数加权移动平均数和Momentum的Adam，并在Specific-task层上设计网络，在BERT后接入8层的FC构成MLP，其中FC的网络层数作为超参数进行GridSearchRandomSearch调参；S9、使用预处理后的文本数据对融合多层前馈表征的编码器网络进行训练，达到全局最优；S10、序列化训练好的融合多层前馈表征的预训练语言模型；S11、Encoder分别后接Specific-task后处理模型，使用测试数据分别对融合多层前馈表征的编码器网络进行性能评估。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浪潮软件科技有限公司，其通讯地址为：250100 山东省济南市高新区浪潮路1036号浪潮科技园；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。