买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：吴致远

摘要：本发明公开了一种基于深度学习的面向图像的端到端中文古诗词推荐方法，本发明首先对图像和中国传统古诗词两类数据进行自动化分析处理，分别得到图像和中文古诗词的特征提取模型，从而针对用户输入的图像，推荐合适的中文古诗词。与现有的古诗词推荐方法相比，本发明一方面考虑了中文古诗词的多标签假设充分提取了标签之间的相关性；另一方面现有大部分古诗词推荐方法先基于图像特征提取关键词信息然后基于关键词推荐古诗词，而本发明是基于图像推荐中文古诗词的端到端模型框架，直接根据提取的图像特征推荐中文古诗词，避免将关键词作为中间结果导致的信息缺失。

主权项：1.一种基于深度学习的面向图像的端到端中文古诗词推荐方法，其特征在于，包括以下步骤：步骤1：根据中文古诗词数据特点，在开源图像数据的基础上，进行图像的增减和标签空间的调整，并利用调整后的数据集完成图像特征提取模型的训练；所述步骤1包括以下子步骤：1.1在图像的标签空间中增加了诗词的意象和主题，记为Yitemm，得到图像数据训练集表示如下： 其中，i为图像的索引，n为图像总数量，xi为图像像素特征，yi为图像的分类标签，并满足yi∈Ye∪Yitem，即yi属于原有标签集合Ye或新增标签集合Yitem；1.2利用图像数据训练集训练神经网络，训练损失为均方误差，优化策略为梯度下降，损失函数表示如下： 其中，xi表示从训练集输入的图片，li表示图片对应的标签向量，F1表示用于图像标签预测的神经网络，||·||2是向量的L2范数，ΩF1表示神经网络的正则项，用于控制模型复杂度；将神经网络F1最后几层线性映射层丢弃，即获得图像特征提取模型，记为F1′；步骤2：从互联网收集中文古诗词构建诗词数据库，训练用于古诗词特征提取的Bert模型，提取数据库中诗词的特征向量；所述步骤2包括以下子步骤：2.1收集中文古诗词；2.2利用标签间的低秩假设提取标签和隐层特征间的相关性，矩阵的低秩假设通过最小化矩阵的奇异值之和进行近似；模型Bert的训练损失可以表示如下： 其中，m表示古诗词总数量，x′j表示输入的某个古诗词，l′j表示诗词对应的标签向量，F2表示用于诗词标签预测的Bert模型，ΩF2表示Bert的正则项，用于控制模型复杂度，F2X′表示所有古诗词的预测标签矩阵，||·||*是核范数，用于计算矩阵奇异值之和；将Bert模型F2最后几层线性映射层丢弃，即获得中文古诗词特征提取模型，记为F2′；2.3确保图像特征提取模型F1′和中文古诗词特征提取模型F2′提取到的特征维度相同，将F1′和F2′结合相同线性映射模型，最后利用和交替优化图像特征提取模型F1′和中文古诗词特征提取模型f2′；其中，所述利用和交替优化图像特征提取模型F1′和中文古诗词特征提取模型F2′具体为：a固定F1′和F2′，根据图像数据和中文古诗词数据，分别用和计算线性映射模型参数的梯度并更新；b固定线性映射层，根据图像数据和中文古诗词数据，分别用和计算特征提取模型F1′和F2′的参数的梯度并更新；步骤3：输入图片，中文古诗词深度推荐模型推荐合适的古诗；所述步骤3具体为：针对用户输入的图像，利用图像特征提取模型F1′提取输入图像的特征，记特征向量为F1′x，同时利用F2′提取诗词库中所有诗词的特征，生成对应特征向量，记第j首诗词的特征向量pj，所有特征向量组成的矩阵为P；已知模型F1′和F2′提取的特征在同一特征空间中，即F1′x与P位于同一特征空间，直接用该特征空间内的欧氏距离衡量输入图像与诗词的距离，并选择最邻近诗词进行推荐，即求解以下最小化问题， 其中，诗词的索引j满足1≤j≤m，m表示古诗词总数量，表示返回使式子最小化时j的取值，pj是第j首诗词的特征向量，||·||2是向量的L2范数。

全文数据：

权利要求：

百度查询： 吴致远 基于深度学习的面向图像的端到端中文古诗词推荐方法