买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东黄海智能装备有限公司

摘要：本发明提出一种用于青少年视力训练的近视视力预测方法，涉及机器学习领域，本发明提出MTSformer预测模型，应用于青少年视力训练的近视视力预测场景，包括MCAM模块、TKMM模块和全连接层，MCAM模块处理青少年近视视力时序数据在特征维度和时间维度上的token张量之间关系，TKMM模块处理青少年近视视力数据在特征维度中不同特征之间的依赖关系，全连接层用整合MCAM模块和TKMM模块的输出进一步的非线性变换，增强模型的表达能力，从而提高预测的准确性。

主权项：1.一种用于青少年视力训练的近视视力预测方法，其特征在于，包括以下步骤：S1、收集青少年近视视力相关数据，包括特征和目标变量，对收集的数据进行预处理；S2、使用Max-Min方法对青少年近视视力数据进行归一化，并按比例划分数据集；S3、构建MCAM模块，用于处理青少年近视视力数据在特征维度和时间维度上的token张量之间关系，具体包括以下步骤：S31、采用片段化方法将青少年近视视力数据作为时间序列数据at分割为长度P的片段，并转化为token张量矩阵X，具体地，定义at∈RC为青少年近视视力数据，其中C为特征数，t为时刻，输入模型的青少年近视视力数据矩阵为A＝[at-L+1，…，at]∈RC×L，其中，C为青少年近视视力数据的特征数，L为时间步长，将青少年近视视力数据矩阵A分割为N个时间步长数片段，具体公式如下：式中，S为步幅，P为片段长度，将分割后的片段组合为初始token张量矩阵并通过全连接层将初始token张量矩阵转换为token张量矩阵，具体公式如下： 式中，T0为一个额外的token张量，用于聚合全局信息，F1为全连接层，为初始token张量矩阵，E为位置嵌入矩阵，用于对每个token张量保留青少年近视视力时间序列数据的时间顺序信息；S32、通过全连接层获得token张量矩阵X的查询Q、键K和值V，自适应地确定注意力模块数量H及注意力模块维度，dhead，并按dhead维度分割多个注意力模块Qi、Ki、Vi，具体地，通过全连接层获得token张量矩阵X的查询Q、键K和值V，具体公式如下：Q＝FqX；K＝FkX；V＝FvX；式中，Fq、Fk、Fv为全连接层，X为token张量矩阵，基于输入的青少年近视视力数据特征，自适应地确定注意力模块的数量H和每个模块的维度，dhead，具体公式如下： 式中，dfeatures为输入青少年近视视力数据的维度，k为调整模块数量与特征之间的关系的超参数，H为注意力模块的数量，dhead为每个模块的维度，将token张量矩阵X的查询Q、键K和值V切分成多个注意力模块，具体公式如下：Qi＝Q[：，：，i·dhead：i+1·dhead]；Ki＝K[：，：，i·dhead：i+1·dhead]；Vi＝V[：，：，i·dhead：i+1·dhead]；式中，i＝0,1，…，H-1为第i个注意力模块，dhead为每个模块的维度，Qi、Ki、Vi为每个注意力模块的查询、键和值，且Qi、Ki、S33、在token张量矩阵X和多个注意力模块Qi、Ki、Vi上分别进行注意力计算，使用移动平均操作对时间窗口内的值进行平均，并计算通过全连接层获得输出的注意力矩阵具体地，将Qi、Ki、Vi在特征维度上进行切片，得到每个特征的子矩阵，具体公式如下： 式中，为第i个注意力模块的第c个特征的查询、键和值子矩阵，并计算token张量矩阵和多个注意力模块的注意力得分，具体公式如下： 式中，MA为移动平均方法，为查询和键的子矩阵，和为缩放因子，d为经过线性变换后的隐藏维度，N为时间步长数片段，为token张量矩阵的注意力得分，为多个注意力模块的注意力得分，使用和计算注意力矩阵，并采用层归一化处理注意力矩阵，通过全连接层获得输出的注意力矩阵，具体公式如下： 式中，为token张量矩阵的注意力得分，为多个注意力模块的注意力得分，为值的子矩阵，为token张量矩阵的注意力矩阵，为多个注意力模块的注意力矩阵，λ1、λ2为用于缩放的可学习参数，β1、β2为用于平移的可学习参数，μ1、μ2与分别为注意力矩阵的均值与方差，为归一化后的注意力矩阵；S4、构建TKMM模块，用于处理青少年近视视力数据在特征维度中不同特征之间的依赖关系，具体包括以下步骤：S41、将步骤S32中，获得的多个注意力模块Qi、Ki、Vi，按token张量维度进行切片获得具体地，将步骤S32中，获得的token张量矩阵X的查询Q、键K和值V，按token张量维度进行切片，具体公式如下： 式中，Qi、Ki、Vi为每个注意力模块的查询、键和值，n为token张量的索引，且n＝1，2，…，N+1，为第n个token张量的查询、键和值；S42、提出平均自适应权重动态投影方法，对与进行降维和平滑，获得降维后键与值的动态投影和平滑后键与值的动态投影，进行加权求和得到平均自适应权重键与值的动态投影，具体地，使用全连接层对与进行初步投影降维，得到降维后的动态投影，具体公式如下： 式中，Fpk、Fpv为全连接层，为第n个token张量的键与值，为对键与值降维后的动态投影，使用移动平均操作对与及进行平滑处理，具体公式如下： 式中，MA为移动平均方法，为第n个token张量的键与值，Nt为移动平均的窗口大小，为在第j个时间步上的键矩阵与值矩阵的第i个特征值，为平滑后的键与值动态投影，提出自适应权重γ，具体公式为如下：γ＝σFγXf；式中，σ为sigmoid函数，Fγ为全连接层，用于计算自适应权重，Xf为特征矩阵，计算注意力得分，结合降维后的动态投影和平滑后的动态投影，通过自适应权重进行加权求和，具体公式如下： 式中，γ为自适应权重，Fpk、Fpv为全连接层，为降维后的键与值投影，为平滑后的键与值投影；S43、计算结合平均自适应权重动态投影后键与值的表示，并计算最终输出的注意力得分矩阵具体地，计算结合平均自适应权重动态投影后键与值的表示，具体公式如下： 式中，为第n个token张量的键与值，为平均自适应权重键与值的动态投影，为结合平均自适应权重动态投影后键与值的表示，并通过注意力得分计算输出，具体公式如下： 式中，为缩放因子，为第n个token张量的查询，为第n个token张量的键，为结合平均自适应权重动态投影后键的表示，为基于全局注意力得分的注意力矩阵，为基于局部注意力得分的注意力矩阵，之后将全局和局部注意力得分进行加权求和，并得到最终输出注意力得分矩阵具体公式如下： 式中，α为全局和局部注意力得分的加权系数，用于调整二者的比重，为基于全局注意力得分的注意力矩阵，为基于局部注意力得分的注意力矩阵，为全局和局部注意力得分的加权和矩阵，为结合平均自适应权重动态投影后值的表示，为最终的输出注意力得分矩阵；S5、整合MCAM模块和TKMM模块信息，并通过全连接层完成预测，具体公式如下：式中，W1、W2为权重矩阵，b1、b2为偏置向量，σ为Sigmoid激活函数，分别为通过全连接层获得输出的注意力矩阵和最终的输出注意力得分矩阵，Y为预测结果。

全文数据：

权利要求：

百度查询： 山东黄海智能装备有限公司 一种用于青少年视力训练的近视视力预测方法