买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：陕西师范大学

摘要：一种基于改进的注意力机制网络五言绝句生成方法，由生成图像数据集和诗词数据集、构建VGG16图片标签网络、训练VGG16图片标签网络、提取图像关键标签、扩展诗词数据集、诗词数据预处理、建立关键词对应词典、构建改进的注意力机制网络、训练改进的注意力机制网络、生成五言绝句步骤组成。用户输入图片进行分类后的实体标签，增强了与图片的关联性，增加了整首古诗意境上的概括性与完整性。通过VGG16网络建立图像特征提取模型以及基于注意力机制改进的编码解码作诗模型融合，实现将图像转换成五言绝句。本发明具有转换准确、转换速度快、转换完整等优点，可用于将图像转换成五言绝句。

主权项：1.一种基于改进的注意力机制网络五言绝句生成方法，其特征在于由下述步骤组成：1生成图像数据集和诗词数据集从CIFAR-100图像数据集中选取图像，按5:1分为训练集和测试集，将CIFAR-100图像数据集中的100个类分成10个超类，每个图像都带有一个所属类别标签和一个所属的超类标签；从中华古典文集数据库中挑选15000首唐诗与宋诗的五言绝句，作为五言绝句诗词数据库；2构建VGG16图片标签网络VGG16图片标签网络由第一模块与第二模块、第三模块、前第四模块、后第四模块、全局平均池化层、Softmax分类层d1依次串联构成；所述的第一模块由64通道串联的2个卷积层与1个池化层串联构成；第二模块由128通道串联的2个卷积层与1个池化层串联构成；第三模块由256通道串联的3个卷积层与1个池化层串联构成；前第四模块由512通道串联的3个卷积层与1个池化层串联构成；后第四模块由512通道串联的3个卷积层与1个池化层串联构成；3训练VGG16图片标签网络将训练集输入到VGG16图片标签网络进行训练，批量大小为128，线性整流层作为激活函数层，学习率定为0.1，采用交叉熵损失函数Hp,q对VGG16图片标签网络进行训练，训练至损失函数收敛： 其中n表示分类个数，n为有限的正整数，pxi表示正确答案，qxi表示预测值；4提取图像关键标签将测试集输入到训练好的VGG16图片标签网络进行测试，提取卷积特征，输出层采用Softmax分类层d1，通过Softmax分类层d1将测试集中图像分为10个类别的概率，其中概率最大的类别作为输出类别，得到图像关键标签；5扩展诗词数据集1从民族民间文化资源数据库中获取诗词，数据库网址为http:51cst.snnu.edu.cn；2将民族民间文化资源数据库的诗词添加到五言绝句诗词数据库中；6诗词数据预处理1将五言绝句诗词数据库中的繁体字转换为简体字；2删除五言绝句诗词数据库中的生僻字；3删除五言绝句诗词数据库的标题中含有非中文的诗词；7建立关键词对应词典建立100个图片标签所对应的超类别关键词[l1,l2,...,l10]的对应汉字字典，其中l1表示[江，湖，海,水，鱼]，l2表示[春，花，秋，落]，l3表示[杯，盘]，l4表示[子，郎]，l5表示[金，盘]，l6表示[飞，高]，l7表示[山，野，峰]，l8表示[楼，高，阁]，l9表示[树，林，枝]，l10表示[车，路，马]，建立了关键词对应词典；8构建改进的注意力机制网络改进注意力机制的古诗生成网络由编码器和解码器串联构成，编码器由1层长短期记忆层b1构成，解码器由长短期记忆层b2与长短期记忆层b3、Softmax分类层d2依次串联构成，长短期记忆层b2与长短期记忆层b3的结构相同；9训练改进的注意力机制网络采用TextRank方法的Word2vec模型按下式确定节点Vi的得分WSVi： 式中，Wji表示节点Vi和节点Vj边的权重，InVi表示进入节点i的节点集合，OutVj表示离开节点j的节点集合，节点Vi的得分WSVi的初始值为[0.5,2]，d表示阻尼因子，d取值为[0.8,1]，选取得分最高的词作为整句的关键词；用收集到的五言绝句诗词数据库作为语料库训练词向量模型Word2vec，词向量维度T取256，迭代次数为50次，即输入1个关键词时，得到词的1个向量空间wi和向量空间wj，按下式确定向量间相似度simiwi,wj，由相似度的大小判断与关键词语义最接近的系列词，并按照顺序提取概率最大的前3个关键词集合{C1,C2,...,Cj}： 编码器将关键词集合{C1,C2,...,Cj}通过长短期记忆网络编码成隐层状态集合{h1,h2,...,hj}，j为有限的正整数，Cj为第j个编码向量；编码器用隐层状态生成输出序列{y1,y2,...,yj}，按下式确定输出向量yj：yj＝argmaxPy|yj-1,sj,cjsj＝fsj-1,yj-1,cj式中，yj-1为上一时刻的输入，sj-1为上一时刻的状态，sj为当前时刻的状态，cj是所有输入序列的隐层状态；10生成五言绝句将测试集输入到训练好的VGG16图片标签网络中，得到关键字，将关键字输入到古诗生成网络中，生成五言绝句。

全文数据：

权利要求：

百度查询： 陕西师范大学 基于改进的注意力机制网络五言绝句生成方法