买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南通大学

摘要：本发明提供了一种基于Transformer的编程问题帖标题自动生成方法，属于计算机应用技术领域；其技术方案为：包括以下步骤：1收集开发人员问答网站上与Java、C#、Python和JavaScript四种编程语言相关的问题帖，基于三种启发式规则以过滤掉其中的低质量问题帖；2基于上述构建的语料库，对构建的基于Transformer的T5模型进行微调，利用AdaFactor优化器以及注意力机制进行优化，构建出问题帖标题自动生成模型。本发明的有益效果为：为开发人员问答网站例如StackOverflow的问题帖生成既简洁又准确的标题，实现了针对Java、C#、Python和JavaScript四种编程语言的问题帖标题生成的自动化。

主权项：1.一种基于Transformer的编程问题帖标题自动生成方法，其特征在于，包括以下步骤：步骤1：首先使用Java、C#、Python和JavaScript标签从开发人员问答网站StackOverflow收集相关的问题帖子，采用三条启发式规则对问题帖进行过滤，用于收集到高质量的问题帖：1-1启发式规则一，提取的问题帖的分数必须大于等于5；1-2启发式规则二，提取的问题帖中必须具有一个被接受的回答作为最终答案；1-3启发式规则三，提取的问题帖中问题必须包含代码；步骤2：通过三条启发式规则对StackOverflow中收集的问题贴过滤后，得到了1168257个高质量的问题帖，从问题帖中提取出问题描述、代码片段和标题以组成问题描述，代码片段，标题三元组，并将这些问题描述，代码片段，标题三元组添加到语料库中；步骤3：基于步骤2构建的语料库，对构建的基于Transformer的T5模型进行微调，利用结合AdaFactor优化器以及注意力机制进行优化，得到问题帖标题生成模型：所述问题帖标题生成模型的参数设置如下：所述问题帖标题生成模型的词嵌入维度设置为768；所述问题帖标题生成模型的hiddensize设置为768；所述问题帖标题生成模型的注意力头设置为12；所述问题帖标题生成模型的初始学习率设置为0.0005；所述问题帖标题生成模型的batchsize设置为30；所述问题帖标题生成模型的Dropout设置为0.1；步骤4：将步骤2中预处理好的输入序列输入到步骤3中训练好的问题帖标题生成模型中，通过束搜索算法为问题帖生成标题。

全文数据：

权利要求：

百度查询： 南通大学 一种基于Transformer的编程问题帖标题自动生成方法