买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:南京邮电大学
摘要:一种针对大规模在线教育平台MOOC数据集的异常检测方法,通过孤立森林算法解决了MOOC数据无标签的问题,对数据进行了初步的标注,为后续的监督学习算法提供了可供其训练的标签数据集,降低了人工标注的成本;监督学习算法LightGBM解决了无监督学习算法检测效果欠佳的问题,进一步提高了异常检测的精确度。无监督的孤立森林算法与有监督的LightGBM算法相结合的模型,提高了对MOOC在线学习课程学习者作弊行为的检测效率和精度,能够提高课程的总体学习效果以及学习效率。
主权项:1.一种针对大规模在线教育平台MOOC数据集的异常检测方法,其特征在于:包括如下步骤:步骤1,收集MOOC学习者的学习行为数据以及学习者、学习课程的相关数据,对MOOC数据集进行特征提取,并对数据进行标准化和归一化处理,对其进行PCA降维后,得到数据特征集;步骤2,建立孤立森林无监督异常检测模型,对部分MOOC数据进行检测,将检测到的异常学习者进行数据标注,为后续的LightGBM模型提供标签基础;步骤2的具体步骤如下:步骤2-1,根据MOOC数据集,设训练数据集的数量为N条,特征数为M个,进行iTree的构造;步骤2-2,获得的t个iTree,对每一个X,令其遍历每一棵孤立树,计算Xi在森林中的平均高度hX,对所有的平均高度做归一化处理;异常值分数的计算公式如下: 其中,n是样本集的大小;hX为样本X的路径长度;cn为路径长度的平均值,用来标准化hX获得实例X的异常分数值;Hn-1为调和数,计为lnn-1+0.5772156649,该常数是欧拉常数;EhX表示数据X在多棵iTree的路径长度的均值;步骤2-3,通过步骤2-2,获得各样本X的异常分数s,当Ehx→cn时,s→0.5,即样本x的路径平均长度与树的平均路径长度相近时,则不能区分是不是异常;当EhX→0时,s→1,即x的异常分数接近1时,被判定为异常;当EhX→n-1时,s→0,被判定为正常;按此,对大量未标记的MOOC数据集中的部分数据进行标记,为LightGBM模型的训练提供标签数据;步骤2-1中,构造iTree的过程如下:首先,从N条训练数据集中随机选取n个样本作为子数据集;然后,从X={x1,x2,…,xM}的M个特征向量中选择一个特征作为根节点;接着,选择该特征的最大值和最小值之间一个划分值p,并对子数据集进行二叉划分,将小于该值的数据划分为左子节点,大于该值的数据划分为右子节点;最后,递归左右子节点,直到叶子节点只有一个实例或者达到了树的限定高度;步骤3,利用步骤2中得到的伪标签数据,通过监督学习算法LightGBM训练模型数据,实现MOOC异常学习行为者的发现,从而对异常学习者进行警告,起到监督的作用。
全文数据:
权利要求:
百度查询: 南京邮电大学 一种针对大规模在线教育平台MOOC数据集的异常检测方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。