买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种基于秘密分享的Transformer模型密态推理方法及系统，应用于双云外包服务器端，该方法包括：基于安全指数函数和安全除法函数构建安全Softmax函数；基于改进的安全逆平方根函数构建安全LayerNorm函数；基于分段多项式和秘密共享技术构建安全GELU函数；基于Transformer模型，利用安全Softmax函数、安全LayerNorm函数以及安全GELU函数对加密共享数据进行非线性函数的安全协议计算，得到共享结果。该方法可以在外包云服务器上实现隐私保护的预测和生成相关数据功能，在保护数据隐私和模型安全的同时，减少了通信量消耗，提高了推理过程的外包计算效率和计算精度。

主权项：1.一种基于秘密分享的Transformer模型密态推理方法，应用于双云外包服务器端，其特征在于，包括：基于安全指数函数和安全除法函数构建安全Softmax函数；具体包括：利用极限近似法计算安全指数函数；利用牛顿迭代法计算安全除法函数，包括：计算2j-X的最高有效位，即Dj←SecMSB2j-X，其中j∈[1,l-1]；X表示加密共享数据，符号“”表示其内数据的加密共享形式，l表示数字的位数；MSB表示最高有效位，SecMSB表示安全MSB算法；计算并且重构K＝ReconstK；Reconst表示秘密分享重构操作；计算Y0＝2-K，Y1＝2-K-1；计算A＝U2K＝U·Y0；其中，U＝eX；计算B＝X2K+1＝X·Y11；计算W＝2.9142-2·B；计算E0＝1-SecMatMulB,W,E1＝E0·E0；SecMatMul表示安全矩阵乘法；计算Z＝UX＝SecCMulA,W,1+E0,1+e1；SecCMul表示安全连乘协议；结合所述安全指数函数和所述安全除法函数构建安全Softmax函数，其表达式为： 式中，Z[i][j]表示安全Softmax函数输出的分享值；X表示一个N×M的矩阵，[i]表示矩阵中的第i行，[j]、[k]表示矩阵中的第j列或第[k]列；基于改进的安全逆平方根函数构建安全LayerNorm函数；其中，所述改进的安全逆平方根函数的具体实现步骤为：计算A＝0.2-X2；计算B＝2.2·SecExpA+0.2；SecExp表示安全指数函数；计算C＝B-X1024，并令D0＝C；计算Y＝3.0-SecCMulX,C,C循环三次，计算Dj＝SecMatMulDj-1,Y和F＝SecMatMulC,Dj2；令Z＝F，得到安全逆平方根函数的计算结果；所述安全LayerNorm函数的表达式为：LayerNormX＝γX[i][j]-μσ+β；其中，X表示一个N×M的矩阵，[i]表示矩阵中的第i行，[j]表示矩阵中的第j列，d表示表示矩阵X中所有元素的个数，γ和β表示服务器本地模型参数；基于分段多项式和秘密共享技术构建安全GELU函数，具体包括：设计安全连乘协议；基于MSB设计安全比较协议；基于所述安全连乘协议和所述安全比较协议设计分段式GELU函数，其表达式为： 其中，fx＝-0.003212x7+0.04972x5-0.2984x3+1.1x；式中，x表示一个数值；基于Transformer模型，利用所述安全Softmax函数、所述安全LayerNorm函数以及所述安全GELU函数对加密共享数据进行非线性函数的安全协议计算，得到共享结果。

全文数据：

权利要求：

百度查询： 西安电子科技大学 基于秘密分享的Transformer模型密态推理方法及系统