买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北大学

摘要：本发明提供了CNN‑LSTM‑SVM网络模型的构建及MOOC辍学预测方法：对待预测学生的原始在线学习记录处理，采用训练好的辍学预测的CNN‑LSTM‑SVM网络，得到待预测学生的辍学状态；还公开了基于MOOC辍学预测的CNN‑LSTM‑SVM网络的构建方法：通过对已知学生的原始在线学习行为记录进行处理，得到多个时间片矩阵，根据时间片矩阵进行网络训练，得到训练好的CNN‑LSTM网络；最终得到训练好的辍学预测的网络；本发明能够自动提取有效行为区域内的局部特征和区间内的序列特征，实现待预测学生是否辍学的预测，预测能力增强。

主权项：1.一种基于MOOC辍学预测的CNN-LSTM-SVM网络的构建方法，具体包括以下步骤：步骤1、对收集的多个已知学生在在线教育平台上的原始在线学习行为记录进行处理，得到多个时间片矩阵；其特征在于，还包括：步骤2、采用CNN网络对得到的多个时间片矩阵进行处理，得到多个一维时间特征图谱；采用LSTM层网络对得到的多个一维时间特征图谱进行处理，得到多个序列化特征向量；采用交叉熵损失函数对得到的多个序列化特征向量进行计算，得到CNN-LSTM网络的损失值；将CNN-LSTM网络的损失值输入到CNN-LSTM网络中，采用随机梯度下降算法对CNN-LSTM网络进行训练，得到训练好的CNN-LSTM网络；所述采用CNN网络对得到的多个时间片矩阵进行处理，得到多个一维时间特征图谱的具体操作如下：步骤2.1、将得到的多个时间片矩阵输入到CNN网络中，所述CNN网络包括第一个卷积层、第二个卷积层、最大池化层和展平层；采用第一个卷积层对得到的多个时间片矩阵进行卷积操作，得到多个时间片第一卷积计算层特征向量；根据多个时间片第一卷积计算层特征向量，采用ReLU激活函数，得到多个时间片第一次映射特征矩阵；步骤2.2、采用第二个卷积层对得到的多个时间片第一次映射特征矩阵进行卷积操作，得到多个时间片第二卷积计算层特征向量；并根据多个时间片第二卷积计算层特征向量，采用ReLU激活函数得到多个时间片第二次映射特征矩阵；步骤2.3、采用最大池化层对得到的多个时间片第二次映射特征矩阵进行最大池化操作，得到多个时间片特征图谱；步骤2.4、采用展平层对得到的多个时间片特征图谱进行拉伸操作，得到多个一维时间特征图谱；所述采用LSTM层网络对得到的多个一维时间特征图谱进行处理，得到多个序列化特征向量的具体操作如下：步骤2.5、将得到的多个一维时间特征图谱输入到LSTM层网络中，所述LSTM层网络包括神经元个数为128个的全连接层、隐藏层节点数为128的LSTM层和神经元个数为2的全连接层；采用神经元个数为128个的全连接层对得到的多个一维时间特征图谱进行全连接操作，得到多个时间矢量；采用隐藏层节点数为128的LSTM层对得到的多个时间矢量进行处理，得到多个时间序列矢量；将得到的多个时间序列矢量输入到神经元个数为2的全连接层中进行全连接操作，得到多个序列化特征向量；步骤3、根据训练好的CNN-LSTM网络对SVM分类器进行更新，得到新的SVM分类器；根据得到的训练好的CNN-LSTM网络和新的SVM分类器，构成得到训练好的辍学预测的CNN-LSTM-SVM网络，所述SVM表示支持向量机。

全文数据：一种CNN-LSTM-SVM网络模型的构建及MOOC辍学预测方法技术领域本发明属于在线教育辍学预测领域，具体涉及一种CNN-LSTM-SVM网络模型的构建及MOOC辍学预测方法。背景技术近年来，大规模开放在线课程MassiveOpenOnlineCourses，简称MOOC以其大规模、开放性、自主性、个性化等特点迅速风靡全球。虽然MOOC正在逐渐成为高等教育学习过程中不可或缺的一部分，但围绕MOOC目前尚未解决的主要问题之一——学生辍学问题仍有许多问题需要解决。与传统的面对面教学相比，MOOC由于缺乏约束和师生面对面的交流，辍学率较高，因此制定有效的预测方案可以预测学生何时辍学。早期关于MOOC辍学预测的研究采用基于统计分析的方法，该方法只能采用简单的调查问卷以及简单分析的方法分析一些浅显的MOOC辍学现象，不能深层次的对辍学问题进行预测和分析，使得预测结果精度不佳；随着机器学习的兴起，促进了基于传统的机器学习算法在MOOC辍学预测任务上的应用，但在解决MOOC辍学问题时存在两个局限：第一、基于传统的机器学习方法主要集中在特征规则制定上，这部分工作可能需要大量的手动操作，需要人为的进行多种复杂的特征提取操作。当语言现象在文本中很多且非常复杂时，特征规则制定的过程变得非常困难。第二、传统的机器学习方法假设学生在不同时间步长内的辍学的可能性是独立的，这与实际场景中的情况不符，因为学生在某一时刻的状态会受到前一时刻状态的影响，使得预测结果精度不佳；近些年来，基于神经网络的方法在MOOC辍学预测方面存在自动化提取的特征利于分类的优点，但存在数据量大、训练慢、存储量大等问题，且该方法最后一层分类器的分类精度仍具有提升的空间。发明内容针对现有技术中存在预测结果精度欠佳的缺点，本申请的目的在于，提供了一种CNN-LSTM-SVM网络模型的构建及MOOC辍学预测方法。为了实现上述目的，本发明采取以下技术方案予以实现：一种基于MOOC辍学预测的CNN-LSTM-SVM网络的构建方法，具体包括以下步骤：步骤1、对收集的多个已知学生在在线教育平台上的原始在线学习行为记录进行处理，得到多个时间片矩阵；步骤2、采用CNN网络对得到的多个时间片矩阵进行处理，得到多个一维时间特征图谱；采用LSTM层网络对得到的多个一维时间特征图谱进行处理，得到多个序列化特征向量；采用交叉熵损失函数对得到的多个序列化特征向量进行计算，得到CNN-LSTM网络的损失值；将CNN-LSTM网络的损失值输入到CNN-LSTM网络中，采用随机梯度下降算法对CNN-LSTM网络进行训练，得到训练好的CNN-LSTM网络；步骤3、根据训练好的CNN-LSTM网络对SVM分类器进行更新，得到新的SVM分类器；根据得到的训练好的CNN-LSTM网络和新的SVM分类器，构成得到训练好的辍学预测的CNN-LSTM-SVM网络，所述SVM表示支持向量机。进一步的，步骤2中所述采用CNN网络对得到的多个时间片矩阵进行处理，得到多个一维时间特征图谱的具体操作如下：步骤2.1、将得到的多个时间片矩阵输入到CNN网络中，所述CNN网络包括第一个卷积层、第二个卷积层、最大池化层和展平层；采用第一个卷积层对得到的多个时间片矩阵进行卷积操作，得到多个时间片第一卷积计算层特征向量；根据多个时间片第一卷积计算层特征向量，采用ReLU激活函数，得到多个时间片第一次映射特征矩阵；步骤2.2、采用第二个卷积层对得到的多个时间片第一次映射特征矩阵进行卷积操作，得到多个时间片第二卷积计算层特征向量；并根据多个时间片第二卷积计算层特征向量，采用ReLU激活函数得到多个时间片第二次映射特征矩阵；步骤2.3、采用最大池化层对得到的多个时间片第二次映射特征矩阵进行最大池化操作，得到多个时间片特征图谱；步骤2.4、采用展平层对得到的多个时间片特征图谱进行拉伸操作，得到多个一维时间特征图谱。进一步的，步骤2中所述采用LSTM层网络对得到的多个一维时间特征图谱进行处理，得到多个序列化特征向量的具体操作如下：步骤2.5、将得到的多个一维时间特征图谱输入到LSTM层网络中，所述LSTM层网络包括神经元个数为128个的全连接层、隐藏层节点数为128的LSTM层和神经元个数为2的全连接层；采用神经元个数为128个的全连接层对得到的多个一维时间特征图谱进行全连接操作，得到多个时间矢量；采用隐藏层节点数为128的LSTM层对得到的多个时间矢量进行处理，得到多个时间序列矢量；将得到的多个时间序列矢量输入到神经元个数为2的全连接层中进行全连接操作，得到多个序列化特征向量。进一步的，所述步骤3的具体操作如下：采用训练好的CNN-LSTM网络对得到的多个时间片矩阵进行处理，得到多个训练好的序列化特征向量，将得到的多个训练好的序列化特征向量输入到SVM分类器中，采用公式4计算得到SVM分类器的参数w和b，将得到的w和b作为SVM分类器中新的w和b值，得到新的SVM分类器；由得到的训练好的CNN-LSTM网络和新的SVM分类器，构成得到训练好的辍学预测的CNN-LSTM-SVM网络；其中，w表示SVM分类器中分类超平面的权重向量，且||w||∈R，wT表示SVM分类器中分类超平面的权重向量的转置；b为常数项，且b∈R；xi为第i个学生的序列化特征向量，yi表示第i学生辍学状态的真实值，yi∈{0,1}；i＝1,2,...，N，N为已知学生的数量，且N0。进一步的，所述步骤1的具体操作如下：步骤1.1、采用one-hot编码对收集的多个已知学生在在线教育平台上的原始在线学习行为记录进行编码，得到编码后的学习行为记录；步骤1.2、将编码后的学习行为记录按照以时间点为秒进行划分，并对编码后的学习行为记录中时间点无记录的学习行为记录填充零向量，得到多个时间点学习向量；对多个时间点学习向量按照以时间单元为小时进行划分，得到多个时间单元对应的时间点学习向量，并将多个时间单元对应的时间点学习向量中每个时间单元对应的时间点学习向量的各对应列的列向量分别相加，作为新的各对应列的列向量，由新的各对应列的列向量构成时间单元学习向量，得到多个时间单元学习向量；步骤1.3、将得到的多个时间单元学习向量按照以时间片为天进行划分，得到多个时间片对应的时间单元学习向量；将得到多个时间片对应的时间单元学习向量中的时间单元向量分别依次从上至下放置，得到多个时间片记录矩阵，并分别将所述多个时间片记录矩阵中每个时间片矩阵的各对应列的列向量分别相加，作为新的各对应列的列向量，由新的各对应列的列向量构成时间片矩阵，得到多个时间片矩阵。一种基于CNN-LSTM-SVM网络模型的MOOC辍学预测方法，具体包括以下步骤：步骤1、对收集的待预测学生在在线教育平台上的原始在线学习行为记录进行处理，得到多个时间片矩阵；步骤2、采用训练好的辍学预测的CNN-LSTM-SVM网络对得到的多个时间片矩阵进行计算，得到待预测学生辍学的标签值；根据待预测学生辍学的标签值，判断得到待预测学生是否辍学的预测状态。进一步的，步骤2具体包括以下步骤：步骤2.1、将得到的多个时间片矩阵输入到训练好的辍学预测的CNN-LSTM-SVM网络中的CNN网络中，采用第一个卷积层对得到的多个时间片矩阵进行卷积操作，得到多个时间片第一卷积计算层特征向量，根据多个时间片第一卷积计算层特征向量，采用ReLU激活函数，得到多个时间片第一次映射特征矩阵；步骤2.2、采用第二个卷积层对得到的多个时间片第一次映射特征矩阵进行卷积操作，得到多个时间片第二卷积计算层特征向量；并根据多个时间片第二卷积计算层特征向量，采用ReLU激活函数得到多个时间片第二次映射特征矩阵；步骤2.3、采用最大池化层对得到的多个时间片第二次映射特征矩阵进行最大池化操作，得到多个时间片特征图谱；步骤2.4、采用展平层对得到的多个时间片特征图谱进行拉伸操作，得到多个一维时间特征图谱。步骤2.5、将得到的多个一维时间特征图谱输入到训练好的辍学预测的CNN-LSTM-SVM网络中的LSTM层网络中，采用神经元个数为128个的全连接层对得到的多个一维时间特征图谱进行全连接操作，得到多个时间矢量；采用隐藏层节点数为128的LSTM层对得到的多个时间矢量进行处理，得到多个时间序列矢量；将得到的多个时间序列矢量输入到神经元个数为2的全连接层中进行全连接操作，得到序列化特征向量；步骤2.6、将得到的序列化特征向量输入到训练好的辍学预测的CNN-LSTM-SVM网络中的SVM分类器中，采用公式5得到待预测学生辍学的标签值；根据待预测学生辍学的标签值，判断得到待预测学生是否辍学的预测状态；当待预测学生辍学的标签值为正数时，表示待预测学生辍学；当待预测学生辍学的标签值为负数时，表示待预测学生未辍学；fx＝wTx+b5其中，x为得到的序列化特征向量；w为SVM分类器中分类超平面的权重向量，且||w||∈R，wT表示SVM分类器中分类超平面的权重向量的转置；b为常数项，且b∈R；fx表示待预测学生辍学的标签值，且fx∈R。进一步的，步骤1中具体包括以下步骤：步骤1.1、采用one-hot编码对收集的待预测学生在在线教育平台上的原始在线学习行为记录进行编码，得到编码后的学习行为记录；步骤1.2、将编码后的学习行为记录按照以时间点为秒进行划分，并对编码后的学习行为记录中时间点无记录的学习行为记录填充零向量，得到多个时间点学习向量；对多个时间点学习向量按照以时间单元为小时进行划分，得到多个时间单元对应的时间点学习向量，并将多个时间单元对应的时间点学习向量中每个时间单元对应的时间点学习向量的各对应列的列向量分别相加，作为新的各对应列的列向量，由新的各对应列的列向量构成时间单元学习向量，得到多个时间单元学习向量；步骤1.3、将得到的多个时间单元学习向量按照以时间片为天进行划分，得到多个时间片对应的时间单元学习向量；将得到多个时间片对应的时间单元学习向量中的时间单元向量分别依次从上至下放置，得到多个时间片记录矩阵，并分别将所述多个时间片记录矩阵中每个时间片矩阵的各对应列的列向量分别相加，作为新的各对应列的列向量，由新的各对应列的列向量构成时间片矩阵，得到多个时间片矩阵。与现有的技术相比，本发明的有益效果如下：1、本发明提供的一种基于MOOC辍学预测的CNN-LSTM-SVM网络的构建方法，针对已知学生的原始行为记录进行处理，得到多个时间片矩阵，并针对多个时间片矩阵对辍学预测的CNN-LSTM-SVM网络进行训练，得到训练好的辍学预测的CNN-LSTM-SVM网络；通过构建CNN-LSTM-SVM网络模型，卷积神经网络增加了卷积层的数量、池化层；长短期记忆网络增加了相应的隐层节点数，有效避免了因隐层节点数太少，网络可能根本不能训练或网络性能很差；或隐层节点数太多时使网络训练时间延长的问题，同时避免出现过拟合现象；支持向量机考虑到类别不均衡对分类的影响，对不同类别设置相应的权重，有效地解决了多数类对分类结果的干扰，能够实现待测学生是否辍学的预测，预测能力增强，从而准确预测不同时期学生的辍学率；2、本发明提供的一种基于CNN-LSTM-SVM网络模型的MOOC辍学预测方法，通过训练好的辍学预测的CNN-LSTM-SVM网络，能够自动提取有效的行为区域内的局部特征和区域间的序列特征，并利用支持向量机增强预测效果，提高了辍学预测的准确率。附图说明图1为本发明的流程图；图2为one-hot编码规则结构示意图；图3为one-hot编码规则的具体实例图；图4为基于MOOC辍学预测的CNN-LSTM-SVM网络的结构示意图；图5是基于CNN-LSTM-SVM网络模型的MOOC辍学预测方法与基于传统机器学习的预测方法的实验结果对比图；图6是基于CNN-LSTM-SVM网络模型的MOOC辍学预测方法与基于神经网络的预测方法的实验结果对比图；以下结合附图和具体实施方式对本发明的内容作进一步详细解释说明。具体实施方式如图1-4所示，本发明提供了一种基于MOOC辍学预测的CNN-LSTM-SVM网络模型的构建方法，具体包括以下步骤：步骤1、对收集的多个已知学生在在线教育平台上的原始在线学习行为记录进行处理，得到多个时间片矩阵；步骤2、采用CNN网络对得到的多个时间片矩阵进行处理，得到多个一维时间特征图谱；采用LSTM层网络对得到的多个一维时间特征图谱进行处理，得到多个序列化特征向量；采用交叉熵损失函数对得到的多个序列化特征向量进行计算，得到CNN-LSTM网络的损失值；将CNN-LSTM网络的损失值输入到CNN-LSTM网络中，采用随机梯度下降算法对CNN-LSTM网络进行训练，得到训练好的CNN-LSTM网络；步骤3、根据训练好的CNN-LSTM网络，对SVM分类器进行更新，得到新的SVM分类器；根据得到的训练好的CNN-LSTM网络和新的SVM分类器，构成得到训练好的辍学预测的CNN-LSTM-SVM网络；所述CNN网络表示卷积神经网络；所述LSTM层网络表示长短期记忆层网络，SVM表示支持向量机；本发明针对已知学生的原始行为记录进行处理，得到多个时间片矩阵，并针对多个时间片矩阵对CNN-LSTM-SVM网络进行训练，得到训练好的CNN-LSTM-SVM网络；通过构建的CNN-LSTM-SVM网络，卷积神经网络增加了卷积层的数量、池化层；长短期记忆网络增加了相应的隐层节点数；支持向量机考虑到类别不均衡对分类的影响，对不同类别设置相应的权重，有效地解决了多数类对分类结果的干扰，能够实现待测学生是否辍学的预测，且预测能力增强，从而准确预测不同时期学生的辍学率。具体的，步骤1的具体操作如下：步骤1.1、采用one-hot编码对收集的多个已知学生在在线教育平台上的原始在线学习行为记录进行编码，得到编码后的学习行为记录；其中原始在线学习行为记录是学生参加在线课程后的记录行为，具体包括2个数据来源：浏览器browser或服务器server、7个行为事件：完成课后作业problem、观看课程视频video、访问课程内容access、访问课程的维基百科wiki、参与课程论坛讨论discussion、访问课程其他部分navigate以及关闭网页page_close以及具体参与的课程编号39门课程。步骤1.2、将编码后的学习行为记录按照以时间点为秒进行划分，并对编码后的学习行为记录中时间点无记录的学习行为记录填充零向量，得到多个时间点学习向量；对多个时间点学习向量按照以时间单元为小时进行划分，得到多个时间单元对应的时间点学习向量，并将多个时间单元对应的时间点学习向量中每个时间单元对应的时间点学习向量的各对应列的列向量分别相加，作为新的各对应列的列向量，由新的各对应列的列向量构成时间单元学习向量，得到多个时间单元学习向量；步骤1.3、将得到的多个时间单元学习向量按照以时间片为天进行划分，得到多个时间片对应的时间单元学习向量；将得到多个时间片对应的时间单元学习向量中的时间单元向量分别依次从上至下放置，得到多个时间片记录矩阵，并分别将所述多个时间片记录矩阵中每个时间片矩阵的各对应列的列向量分别相加，作为新的各对应列的列向量，由新的各对应列的列向量构成时间片矩阵，得到多个时间片矩阵，并对多个时间片矩阵进行标号，记为X＝X1,X2,...,XT；多个时间片矩阵对应的标签值序列为y＝y1,y2,...，yT；其中,T表示时间片的个数，且T0；多个时间片矩阵的大小均为U×L，其中U为时间单元的个数，L为行为记录的长度，U0，L0；该方式中，从在线教育平台收集学生在某门课程上的行为记录数据，由于数据集中的原始活动记录采用原始文本格式，不能直接用作辍学预测的CNN-LSTM网络的输入。要使用这些数据，需要将它们转换为可由辍学预测的CNN-LSTM网络处理的格式，因此需要采用one-hot编码对原始行为记录进行矢量化处理；由于原始在线学习行为记录是按时间顺序排列的结构化日志，由不同的属性组成。如果直接使用在每个时间点上的原始矢量作为输入，则输入尺寸将非常大；通过对编码后的学习行为记录按照时间点秒、时间单元小时、时间片天进行划分，并进行列向量相加的操作，能够有效减少输入到辍学预测深度网络的数据尺寸，减少数据稀疏性对辍学预测的CNN-LSTM网络的影响。具体的，步骤2中所述采用CNN网络对得到的多个时间片矩阵进行处理，得到多个一维时间特征图谱的具体操作如下：步骤2.1、将得到的多个时间片矩阵输入到CNN网络中，所述CNN网络包括第一个卷积层、第二个卷积层、最大池化层和展平层；采用第一个卷积层对得到的多个时间片矩阵进行卷积操作，得到多个时间片第一卷积计算层特征向量，根据多个时间片第一卷积计算层特征向量，采用ReLU激活函数，得到多个时间片第一次映射特征矩阵；步骤2.2、采用第二个卷积层对得到的多个时间片第一次映射特征矩阵进行卷积操作，得到多个时间片第二卷积计算层特征向量；并根据多个时间片第二卷积计算层特征向量，采用ReLU激活函数得到多个时间片第二次映射特征矩阵；步骤2.3、采用最大池化层对得到的多个时间片第二次映射特征矩阵进行最大池化操作，得到多个时间片特征图谱；步骤2.4、采用展平层对得到的多个时间片特征图谱进行拉伸操作，得到多个一维时间特征图谱；所述的ReLU激活函数为：其中,表示第m层卷积层第t个时间片的第fm个映射特征矩阵，Qm表示m层中映射特征矩阵的个数，T表示时间片的数量。是从m-1层的第fm-1个映射特征矩阵获得的在第m层产生第fm个映射特征矩阵，其大小为多个时间片卷积计算层特征向量的大小；是第m层第fm个映射特征矩阵的偏置值，且为了防止CNN网络与LSTM层网络过度拟合；在第二层卷积层后加入Dropout层，Dropout层用于随机提取部分神经元作为训练输入。本发明采用的数据相对于传统的方法数据量比较大，但相对于隐藏层比较多的深度神经网络，本发明提出的模型的数据量还是比较小的，综合两种情况，在卷积层数比较少的情况下，本发明提出的网络模型可以得到很好的预测效果。本发明采用最大池化操作，能够有效减小卷积层参数误差造成估计均值的偏移，保留更多的纹理信息；池化层主要是加快神经网络的训练速度。具体的，步骤2中所述采用LSTM层网络对得到的多个一维时间特征图谱进行处理，得到多个序列化特征向量的具体操作如下：步骤2.5、将得到的多个一维时间特征图谱输入到LSTM层网络中，所述LSTM层网络包括神经元个数为128个的全连接层、隐藏层节点数为128的LSTM层和神经元个数为2的全连接层；采用神经元个数为128个的全连接层对得到的多个一维时间特征图谱进行全连接操作，得到多个时间矢量；采用隐藏层节点数为128的LSTM层对得到的多个时间矢量进行处理，得到多个时间序列矢量；将得到的多个时间序列矢量输入到神经元个数为2的全连接层中进行全连接操作，得到多个序列化特征向量。在LSTM层网络中，若隐层节点数太少，网络可能根本不能训练或网络性能很差；若隐层节点数太多，虽然可使网络的系统误差减小，但一方面使网络训练时间延长，另一方面，训练容易陷入局部极小点而得不到最优点，也是训练时出现“过拟合”的内在原因。因此，综合考虑网络结构复杂程度和误差大小的情况下，长短期记忆网络增加了合理隐层节点数。具体的，步骤2中所述采用交叉熵损失函数对得到的多个序列化特征向量进行计算，得到CNN-LSTM网络的损失值；将CNN-LSTM网络的损失值输入到CNN-LSTM网络中，采用随机梯度下降算法对CNN-LSTM网络进行训练，得到训练好的CNN-LSTM网络的具体包括以下步骤：步骤2.6、根据得到的多个序列化特征向量，采用公式2Sigmoid激活函数计算已知学生辍学的预测概率：其中，w是Sigmoid激活函数的权重向量，且||w||∈R，b是Sigmoid激活函数的偏置值，且b∈R；si是得到的第i学生的序列化特征向量，||si||∈R；表示第i学生辍学的预测概率，且步骤2.7、根据得到已知学生辍学的预测概率，采用公式3即交叉熵损失函数计算得到CNN-LSTM网络的损失值；其中，N表示已知学生的数量，且N0；yi表示第i学生辍学状态的真实值，yi∈{0,1}；表示第i学生辍学的预测概率，且loss表示损失值，且loss∈R；步骤2.8、根据得到的CNN-LSTM网络的损失值，采用随机梯度下降法对CNN-LSTM网络进行调整，得到新的CNN-LSTM网络；将新的CNN-LSTM网络作为CNN-LSTM网络中，重复执行与步骤2-3的操作多次，得到多个CNN-LSTM网络的损失值和新的CNN-LSTM网络，直至得到的多个CNN-LSTM网络的损失值收敛时操作结束；将得到新的CNN-LSTM网络作为训练好的CNN-LSTM网络。该方式中通过对CNN-LSTM网络进行训练，能够增加学生辍学的预测能力。具体的，步骤3的具体操作如下：采用训练好的CNN-LSTM网络对得到的多个时间片矩阵进行处理，得到多个训练好的序列化特征向量，将得到的多个训练好的序列化特征向量输入到SVM分类器中，采用公式4计算得到SVM分类器的参数w和b，将得到的w和b作为SVM分类器中新的w和b值，得到新的SVM分类器；由得到的训练好的CNN-LSTM网络和新的SVM分类器，构成得到训练好的辍学预测的CNN-LSTM-SVM网络；其中，w表示SVM分类器中分类超平面的权重向量，且||w||∈R，wT表示SVM分类器中分类超平面的权重向量的转置；b为常数项，且b∈R；xi为第i个学生的序列化特征向量，yi表示第i学生辍学状态的真实值，yi∈{0,1}；i＝1,2,...，N，N为已知学生的数量，且N0。该方式中在使用SVM分类器时，考虑到类别不平衡对预测结果的影响，相应类别的权重被添加到SVM分类器中，得到新的SVM分类器，能够提高预测不同时期学生的辍学率；与训练好的CNN-LSTM网络组合得到训练好的辍学预测的CNN-LSTM-SVM网络；使学生的辍学预测准确度更高。本发明还提出了一种基于CNN-LSTM-SVM网络模型的MOOC辍学预测方法，具体包括以下步骤：步骤1、对收集的待预测学生在在线教育平台上的原始在线学习行为记录进行处理，得到多个时间片矩阵；步骤2、采用训练好的辍学预测的CNN-LSTM-SVM网络对得到的多个时间片矩阵进行计算，得到待预测学生辍学的标签值；根据待预测学生辍学的标签值，判断得到待预测学生是否辍学的预测状态。本发明通过训练好的辍学预测的CNN-LSTM-SVM网络，能够自动提取有效的行为区域内的局部特征和区域间的序列特征，并利用支持向量机增强预测效果，提高了待预测学生辍学预测的准确率；具体的，步骤1的具体操作如下：步骤1.1、采用one-hot编码对收集的待预测学生在在线教育平台上的原始在线学习行为记录进行编码，得到编码后的学习行为记录；步骤1.2、将编码后的学习行为记录按照以时间点为秒进行划分，并对编码后的学习行为记录中时间点无记录的学习行为记录填充零向量，得到多个时间点学习向量；对多个时间点学习向量按照以时间单元为小时进行划分，得到多个时间单元对应的时间点学习向量，并将多个时间单元对应的时间点学习向量中每个时间单元对应的时间点学习向量的各对应列的列向量分别相加，作为新的各对应列的列向量，由新的各对应列的列向量构成时间单元学习向量，得到多个时间单元学习向量；步骤1.3、将得到的多个时间单元学习向量按照以时间片为天进行划分，得到多个时间片对应的时间单元学习向量；将得到多个时间片对应的时间单元学习向量中的时间单元向量分别依次从上至下放置，得到多个时间片记录矩阵，并分别将所述多个时间片记录矩阵中每个时间片矩阵的各对应列的列向量分别相加，作为新的各对应列的列向量，由新的各对应列的列向量构成时间片矩阵，得到多个时间片矩阵，并对多个时间片矩阵进行标号，记为X＝X1,X2,...,XT；多个时间片矩阵对应的标签序列为y＝y1,y2,...，yT；其中，T表示时间片的个数，且T0；多个时间片矩阵的大小均为U×L，其中U为时间单元的个数，L为行为记录的长度，U0，L0。本发明以原始学习行为记录文本作为输入，无需人工干预和特定领域知识，避免了复杂特征的提取过程，泛化能力强。具体的，步骤2具体包括以下步骤：步骤2.1、将得到的多个时间片矩阵输入到训练好的辍学预测的CNN-LSTM-SVM网络中的CNN网络中，采用第一个卷积层对得到的多个时间片矩阵进行卷积操作，得到多个时间片第一卷积计算层特征向量，根据多个时间片第一卷积计算层特征向量，采用ReLU激活函数，得到多个时间片第一次映射特征矩阵；步骤2.2、采用第二个卷积层对得到的多个时间片第一次映射特征矩阵进行卷积操作，得到多个时间片第二卷积计算层特征向量；并根据多个时间片第二卷积计算层特征向量，采用ReLU激活函数得到多个时间片第二次映射特征矩阵；步骤2.3、采用最大池化层对得到的多个时间片第二次映射特征矩阵进行最大池化操作，得到多个时间片特征图谱；步骤2.4、采用展平层对得到的多个时间片特征图谱进行拉伸操作，得到多个一维时间特征图谱；所述的ReLU激活函数为：其中,表示第m层卷积层第t个时间片的第fm个映射特征矩阵，Qm表示m层中映射特征矩阵的个数，T表示时间片的数量。是从m-1层的第fm-1个映射特征矩阵获得的在第m层产生第fm个映射特征矩阵，其大小为多个时间片卷积计算层特征向量的大小；是第m层第fm个映射特征矩阵的偏置值，且在第二层卷积层后加入Dropout层，Dropout层用于随机提取部分神经元作为训练输入，防止CNN网络与LSTM层网络过度拟合；步骤2.5、将得到的多个一维时间特征图谱输入到训练好的辍学预测的CNN-LSTM-SVM网络中的LSTM层网络中，采用神经元个数为128个的全连接层对得到的多个一维时间特征图谱进行全连接操作，得到多个时间矢量；采用隐藏层节点数为128的LSTM层对得到的多个时间矢量进行处理，得到多个时间序列矢量；将得到的多个时间序列矢量输入到神经元个数为2的全连接层中进行全连接操作，得到序列化特征向量；步骤2.6、将得到的序列化特征向量输入到训练好的辍学预测的CNN-LSTM-SVM网络中的SVM分类器中，采用公式5得到待预测学生辍学的标签值；根据待预测学生辍学的标签值，判断得到待预测学生是否辍学的预测状态；当待预测学生辍学的标签值为正数时，表示待预测学生辍学；当待预测学生辍学的标签值为负数时，表示待预测学生未辍学；fx＝wTx+b5其中，x为得到的序列化特征向量；w为SVM分类器中分类超平面的权重向量，且||w||∈R，wT表示SVM分类器中分类超平面的权重向量的转置；b为常数项，且b∈R；fx表示待预测学生辍学的标签值，且fx∈R。该方式中采用最大池化操作，能够有效减小卷积层参数误差造成估计均值的偏移，保留更多的纹理信息；池化层主要是加快神经网络的训练速度；采用LSTM层网络，能够得到序列化特征向量，并采用SVM分类器，有效解决类别不平衡对预测结果的影响，相应类别的权重被添加到SVM中，能够准确的预测不同时期学生的辍学率。实施例为了验证本发明的有效性，选取来源于KDDCup2015年的公开数据集，选取的数据集共包括120542个学生的原始在线学习行为记录，其中80％的学生的原始在线学习行为记录作为训练集数据，20％的学生的原始在线学习行为记录作为测试集数据；设置卷积核大小为1*5，Dropout值为0.5，池化大小设为1*2，学习率为1e×5；具体操作如下：步骤1、对收集的已知学生在在线教育平台上的原始在线学习行为记录训练集数据及测试集数据进行预处理，得到编码后的学习行为记录；对得到的编码后的学习行为记录按照时间进行划分，得到多个时间片矩阵训练集数据的多个时间片矩阵及测试集数据的多个时间片矩阵；步骤2、采用CNN网络对得到的训练集数据的多个时间片矩阵进行处理，得到多个一维时间特征图谱；采用LSTM层网络对得到的多个一维时间特征图谱进行处理，得到多个序列化特征向量；由所述CNN网络与LSTM层网络构成得到CNN-LSTM网络，步骤3、根据得到的多个序列化特征向量，得到CNN-LSTM网络的损失值和新的CNN-LSTM网络；将新的CNN-LSTM网络作为CNN-LSTM网络，重复执行步骤2-3的操作10次，得到10个CNN-LSTM网络的损失值和新的CNN-LSTM网络，直至得到的10个CNN-LSTM网络的损失值收敛时操作结束；将得到新的CNN-LSTM网络作为训练好的的CNN-LSTM网络；步骤4、根据训练好的CNN-LSTM网络，对SVM分类器进行更新，得到新的SVM分类器；根据得到的训练好的CNN-LSTM网络和新的SVM分类器，构成得到训练好的辍学预测的CNN-LSTM-SVM网络；步骤5、采用训练好的辍学预测的CNN-LSTM-SVM网络中训练好的CNN-LSTM网络对测试集数据的多个时间片矩阵进行处理，得到序列化特征向量；将得到的序列化特征向量输入到训练好的辍学预测的CNN-LSTM-SVM网络中新的SVM分类器中，计算得到学生辍学的标签值；当学生辍学的标签值为正数时，表示学生辍学；当学生辍学的标签值为负数时，表示学生未辍学。为了验证本发明在自动特征选取的效果，选取的8种基于传统机器学习的方法与本发明进行对比，这8种方法分别为：线性支持向量机、带有高斯核的支持向量机、逻辑回归算法、决策树算法、Adaboost算法、梯度提升决策树算法、随机森林算法以及高斯朴素贝叶斯算法；实验采用了精准率、召回率、F1值和AUC四个指标作为评价准则，得到如图5所示的结果对比图；图5中横坐标表示采用的方法，纵坐标表示4个评价指标的值，通过对比，本发明在进行自动特征提取时，在精准率、召回率、F1值和AUC四个指标上分别提升了6.96％、6.28％、4.29％和14.15％，能够有效证明了本发明提出的辍学预测深度网络自动特征选取的有效性，及在辍学预测问题上具有较高的准确性。为验证本发明提出的辍学预测的CNN-LSTM-SVM网络的性能，选取了3种基于神经网络的方法进行对比，3种方法分别为：长短期记忆网络模型、基于卷积神经网络的循环神经网络模型、基于卷积神经网络长短期记忆网络模型，实验采取了精准率、召回率、F1值和AUC四个指标作为评价准则，得到了如图6所示的结果对比图，图6中横坐标表示采用的方法，纵坐标表示4个评价指标的值，通过对比，相比于其他基于神经网络的方法，本发明提出的辍学预测深度网络模型在精准率、召回率、F1值和AUC四个指标上分别提升了5.72％、2.97％、3.68％和6.73％。在各个指标上均表现出良好的预测性能，也说明了在增加一层SVM强分类器进行预测后，辍学预测的性能得以有效的提升。

权利要求：1.一种基于MOOC辍学预测的CNN-LSTM-SVM网络的构建方法，具体包括以下步骤：步骤1、对收集的多个已知学生在在线教育平台上的原始在线学习行为记录进行处理，得到多个时间片矩阵；其特征在于，还包括：步骤2、采用CNN网络对得到的多个时间片矩阵进行处理，得到多个一维时间特征图谱；采用LSTM层网络对得到的多个一维时间特征图谱进行处理，得到多个序列化特征向量；采用交叉熵损失函数对得到的多个序列化特征向量进行计算，得到CNN-LSTM网络的损失值；将CNN-LSTM网络的损失值输入到CNN-LSTM网络中，采用随机梯度下降算法对CNN-LSTM网络进行训练，得到训练好的CNN-LSTM网络；步骤3、根据训练好的CNN-LSTM网络对SVM分类器进行更新，得到新的SVM分类器；根据得到的训练好的CNN-LSTM网络和新的SVM分类器，构成得到训练好的辍学预测的CNN-LSTM-SVM网络，所述SVM表示支持向量机。2.如权利要求1所述的基于MOOC辍学预测的CNN-LSTM-SVM网络的构建方法，其特征在于，步骤2中所述采用CNN网络对得到的多个时间片矩阵进行处理，得到多个一维时间特征图谱的具体操作如下：步骤2.1、将得到的多个时间片矩阵输入到CNN网络中，所述CNN网络包括第一个卷积层、第二个卷积层、最大池化层和展平层；采用第一个卷积层对得到的多个时间片矩阵进行卷积操作，得到多个时间片第一卷积计算层特征向量；根据多个时间片第一卷积计算层特征向量，采用ReLU激活函数，得到多个时间片第一次映射特征矩阵；步骤2.2、采用第二个卷积层对得到的多个时间片第一次映射特征矩阵进行卷积操作，得到多个时间片第二卷积计算层特征向量；并根据多个时间片第二卷积计算层特征向量，采用ReLU激活函数得到多个时间片第二次映射特征矩阵；步骤2.3、采用最大池化层对得到的多个时间片第二次映射特征矩阵进行最大池化操作，得到多个时间片特征图谱；步骤2.4、采用展平层对得到的多个时间片特征图谱进行拉伸操作，得到多个一维时间特征图谱。3.如权利要求1所述的基于MOOC辍学预测的CNN-LSTM-SVM网络的构建方法，其特征在于，步骤2中所述采用LSTM层网络对得到的多个一维时间特征图谱进行处理，得到多个序列化特征向量的具体操作如下：步骤2.5、将得到的多个一维时间特征图谱输入到LSTM层网络中，所述LSTM层网络包括神经元个数为128个的全连接层、隐藏层节点数为128的LSTM层和神经元个数为2的全连接层；采用神经元个数为128个的全连接层对得到的多个一维时间特征图谱进行全连接操作，得到多个时间矢量；采用隐藏层节点数为128的LSTM层对得到的多个时间矢量进行处理，得到多个时间序列矢量；将得到的多个时间序列矢量输入到神经元个数为2的全连接层中进行全连接操作，得到多个序列化特征向量。4.如权利要求1所述的基于MOOC辍学预测的CNN-LSTM-SVM网络的构建方法，其特征在于，所述步骤3的具体操作如下：采用训练好的CNN-LSTM网络对得到的多个时间片矩阵进行处理，得到多个训练好的序列化特征向量，将得到的多个训练好的序列化特征向量输入到SVM分类器中，采用公式4计算得到SVM分类器的参数w和b，将得到的w和b作为SVM分类器中新的w和b值，得到新的SVM分类器；由得到的训练好的CNN-LSTM网络和新的SVM分类器，构成得到训练好的辍学预测的CNN-LSTM-SVM网络；其中，w表示SVM分类器中分类超平面的权重向量，且||w||∈R，wT表示SVM分类器中分类超平面的权重向量的转置；b为常数项，且b∈R；xi为第i个学生的序列化特征向量，yi表示第i学生辍学状态的真实值，yi∈{0,1}；i＝1,2,...，N，N为已知学生的数量，且N0。5.如权利要求1所述的基于MOOC辍学预测的CNN-LSTM-SVM网络的构建方法，其特征在于，所述步骤1的具体操作如下：步骤1.1、采用one-hot编码对收集的多个已知学生在在线教育平台上的原始在线学习行为记录进行编码，得到编码后的学习行为记录；步骤1.2、将编码后的学习行为记录按照以时间点为秒进行划分，并对编码后的学习行为记录中时间点无记录的学习行为记录填充零向量，得到多个时间点学习向量；对多个时间点学习向量按照以时间单元为小时进行划分，得到多个时间单元对应的时间点学习向量，并将多个时间单元对应的时间点学习向量中每个时间单元对应的时间点学习向量的各对应列的列向量分别相加，作为新的各对应列的列向量，由新的各对应列的列向量构成时间单元学习向量，得到多个时间单元学习向量；步骤1.3、将得到的多个时间单元学习向量按照以时间片为天进行划分，得到多个时间片对应的时间单元学习向量；将得到多个时间片对应的时间单元学习向量中的时间单元向量分别依次从上至下放置，得到多个时间片记录矩阵，并分别将所述多个时间片记录矩阵中每个时间片矩阵的各对应列的列向量分别相加，作为新的各对应列的列向量，由新的各对应列的列向量构成时间片矩阵，得到多个时间片矩阵。6.一种基于CNN-LSTM-SVM网络模型的MOOC辍学预测方法，具体包括以下步骤：步骤1、对收集的待预测学生在在线教育平台上的原始在线学习行为记录进行处理，得到多个时间片矩阵；其特征在于，还包括以下步骤：步骤2、采用训练好的辍学预测的CNN-LSTM-SVM网络对得到的多个时间片矩阵进行计算，得到待预测学生辍学的标签值；根据待预测学生辍学的标签值，判断得到待预测学生是否辍学的预测状态。7.如权利要求6所述的基于CNN-LSTM-SVM网络模型的MOOC辍学预测方法，其特征在于，所述步骤2具体包括以下步骤：步骤2.1、将得到的多个时间片矩阵输入到训练好的辍学预测的CNN-LSTM-SVM网络中的CNN网络中，采用第一个卷积层对得到的多个时间片矩阵进行卷积操作，得到多个时间片第一卷积计算层特征向量，根据多个时间片第一卷积计算层特征向量，采用ReLU激活函数，得到多个时间片第一次映射特征矩阵；步骤2.2、采用第二个卷积层对得到的多个时间片第一次映射特征矩阵进行卷积操作，得到多个时间片第二卷积计算层特征向量；并根据多个时间片第二卷积计算层特征向量，采用ReLU激活函数得到多个时间片第二次映射特征矩阵；步骤2.3、采用最大池化层对得到的多个时间片第二次映射特征矩阵进行最大池化操作，得到多个时间片特征图谱；步骤2.4、采用展平层对得到的多个时间片特征图谱进行拉伸操作，得到多个一维时间特征图谱。步骤2.5、将得到的多个一维时间特征图谱输入到训练好的辍学预测的CNN-LSTM-SVM网络中的LSTM层网络中，采用神经元个数为128个的全连接层对得到的多个一维时间特征图谱进行全连接操作，得到多个时间矢量；采用隐藏层节点数为128的LSTM层对得到的多个时间矢量进行处理，得到多个时间序列矢量；将得到的多个时间序列矢量输入到神经元个数为2的全连接层中进行全连接操作，得到序列化特征向量；步骤2.6、将得到的序列化特征向量输入到训练好的辍学预测的CNN-LSTM-SVM网络中的SVM分类器中，采用公式5得到待预测学生辍学的标签值；根据待预测学生辍学的标签值，判断得到待预测学生是否辍学的预测状态；当待预测学生辍学的标签值为正数时，表示待预测学生辍学；当待预测学生辍学的标签值为负数时，表示待预测学生未辍学；fx＝wTx+b5其中，x为得到的序列化特征向量；w为SVM分类器中分类超平面的权重向量，且||w||∈R，wT表示SVM分类器中分类超平面的权重向量的转置；b为常数项，且b∈R；fx表示待预测学生辍学的标签值，且fx∈R。8.如权利要求6所述的基于CNN-LSTM-SVM网络模型的MOOC辍学预测方法，其特征在于，所述步骤1中具体包括以下步骤：步骤1.1、采用one-hot编码对收集的待预测学生在在线教育平台上的原始在线学习行为记录进行编码，得到编码后的学习行为记录；步骤1.2、将编码后的学习行为记录按照以时间点为秒进行划分，并对编码后的学习行为记录中时间点无记录的学习行为记录填充零向量，得到多个时间点学习向量；对多个时间点学习向量按照以时间单元为小时进行划分，得到多个时间单元对应的时间点学习向量，并将多个时间单元对应的时间点学习向量中每个时间单元对应的时间点学习向量的各对应列的列向量分别相加，作为新的各对应列的列向量，由新的各对应列的列向量构成时间单元学习向量，得到多个时间单元学习向量；步骤1.3、将得到的多个时间单元学习向量按照以时间片为天进行划分，得到多个时间片对应的时间单元学习向量；将得到多个时间片对应的时间单元学习向量中的时间单元向量分别依次从上至下放置，得到多个时间片记录矩阵，并分别将所述多个时间片记录矩阵中每个时间片矩阵的各对应列的列向量分别相加，作为新的各对应列的列向量，由新的各对应列的列向量构成时间片矩阵，得到多个时间片矩阵。

百度查询： 西北大学 一种CNN-LSTM-SVM网络模型的构建及MOOC辍学预测方法