买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：复旦大学

摘要：本发明属于司法审判技术领域，具体为一种基于深度学习技术的减刑刑期预测方法。本发明基于文档分类的阶层注意力网络，设计多文档减刑预测模型，该模型根据减刑文书的主要内容，并迁移联合犯罪文书、法条依据的内容，更好地预测识别减刑案件的刑期，具体步骤包括：收集数据和预处理；通过文本编码器编码多文档的向量；减刑刑期分布的确定。本发明方法可以满足对减刑刑期更加精确的预测需求。

主权项：1.一种基于深度学习技术的减刑刑期预测方法，其特征在于，具体利用多文档注意力机制构建减刑预测模型，根据基础的减刑文书文档信息，再迁移结合有关减刑犯罪的其他文书文档信息，来预测减刑刑期；具体步骤如下：一收集数据和预处理首先，收集减刑文书数据、及其对应的犯罪文书数据、关键法条依据，并进行预处理；预处理包括：正则匹配，根据减刑判刑时提交的材料——《罪犯减刑假释审核表》，将其与文书内容进行对照，确认文书中的罪名、原判刑期变动、改造表现、犯罪事实、法条依据这几个部分是决定减刑刑期的关键部分；通过正则匹配对减刑文书文档和对应的犯罪文书文档提取这些关键信息，获得模型需要的数据；数据清洗；分词并去除停用词；二设计模型文本编码器多文档减刑刑期预测模型的是文本编码器，由三部分组成，分别是：静态文本编码器、罪名实体嵌入编码器、动态文本编码器；基于阶层注意网络模型；文本编码器的功能是输入罪名、原判刑期变动、改造表现、犯罪事实、法条依据，相应的编码器生成编码向量——dcrime、djudge、dperformance、dfact、darticle；其中，所述文本编码器的组成——静态文本编码器由如下几个部分组成：1词序列编码器；2词级注意力层；3句子编码器；4句子级注意力层；具体说明如下：假设文书某文本具有L个句子，sentencei代表第i个句子,第i个句子中包含Ti个单词，worditi∈[1，L]，t∈[1，Ti]代表第i个句子中的第t个单词；阶层注意网络模型能够将各个文书原始文本映射到向量表示中；其中：1词序列编码器对句子进行预处理，采用嵌入矩阵将单词转为词向量，再通过双向GRU来获得该单词的上下文表示；其中，编码部分引入BERT预训练，使得模型可以迁移学习其他文本的词和句子的信息，优化一些词和句子向量的表示程度，进一步提升模型准确率；对于第i个句子，句子的词编码过程用公式表示如下：xit＝Wwewordit，t∈[1，Ti]； 其中，wordit为第i个句子中的第t个单词的独热编码表示，第i个句子单词长度为Ti，Wwe代表嵌入向量，得到的xit即为第i个句子中的第t个单词的预训练向量表示；和为双向GRU层的结果，为第i个句子中的第t个单词的隐向量表示；2词级注意力层并非所有单词对句子语义的表示都有同等作用；因此，引入注意力机制来提取对句子语义表示重要的词，并汇总这些词的表示以形成句子向量；首先将文本中第i个句子中的第t个单词的隐向量表示通过单层全连接层，获取作为第i个句子中的第t个单词的学习表示uit；然后初始化一个代表单词级别的上下文向量uw，通过计算第i个句子中的第t个单词与单词级别的上下文向量的相似性，并进行SoftMax归一化，得到一个能够测量该第t单词在其所在的第i个句子中的重要性程度αit；之后，计算基于权重的单词表示的加权来获得句子向量si；其中，上下文向量uw被视为固定问题的“高级表示”，即“哪些是有用的单词”，模型在训练过程中随机初始化并联合学习单词上下文向量uw；具体过程用公式表示如下：uit＝tanhWwahit+bwa； 其中，Wwa和bwa分别为单层全连接层的权值参数和偏置参数；hit是由上述1部分提到的双向GRU层获得的第i个句子中的第t个单词的隐向量；uit代表通过单层全连接层获得的第i个句子中的第t个单词的表示；uw代表单词级别的上下文向量；αit代表第i个句子中的第t个单词占第i个句子所有Ti单词中的权重；si表示综合第i个句子中Ti个单词向量，计算得到的第i个句子的向量表示；3句子编码器句子级别编码和词级别编码采用类似的方法，对计算出的L个句子的表示向量进行双向GRU来获得每个句子的上下文表示，具体过程用公式表示如下： 其中，si是上文计算好的第i个句子的向量表示；和为双向GRU层的结果，代表第i个句子的隐向量表示；4句子级注意力层句子级别注意力和词级别注意力采用类似的方法，首先通过单层全连接层，然后经过句子界别的上下文向量us计算得到第i个句子占文档的权重，通过最后得到文档向量d，它总合了文档中句子的所有信息；具体过程用公式表示如下：ui＝tanhWsahi+bsa； 其中，Wsa和bsa分别为单层全连接层的权值参数和偏置参数，hi是由上述2部分提到的双向GRU层获得的第i个句子的隐向量；ui代表通过单层全连接层获得的第i个句子的向量表示；us代表句子级别的上下文向量，αi代表第i个句子占整个文档所有L个句子中的权重；d表示综合整个文档所有L个句子向量获得的文档向量表示；djudge、dperformance就是通过上述静态文本编码器的1-4的所有文本编码步骤，生成得到的代表原判刑期变动和改造表现的编码向量；其中，所述文本编码器的组成——罪名实体嵌入编码器借鉴了静态文本编码的方式，模型将一个罪名看作一个词，同样用独热编码表示罪名，将罪名编码成向量形式，输入到模型中；罪名的实体嵌入编码器借鉴阶层注意网络模型的1-2的结构，生成得到的句子编码向量就代表罪名的编码向量dcrime；其中，所述文本编码器的组成——动态文本编码器也借鉴阶层注意网络模型；由于犯罪事实、法条依据的文本，针对于预测减刑刑期这一特定任务，只有部分文本信息能够起关键性作用，可以依据与预测减刑刑期任务比较相关的罪名、原判刑期变动、改造表现的文本信息来提取犯罪事实、法条依据的关键信息，形成其编码向量；为了有效结合所有文档的关联信息，实现跨文档迁移信息，动态文本编码器采用一个特殊的处理：接收罪名、原判刑期变动、改造表现文本编码器的编码结果，依靠改造的文档编码模型的动态上下文向量，嵌入到犯罪事实、法条依据的文本编码中，获得针对预测减刑刑期这一特定任务的文本编码向量；改造文本编码器编码中单词上下文向量uw和us，它们不在训练过程中随机初始化，而是由相关来源文档的向量表示，通过单层全连接层训练学习获得；抽象的动态上下文生成过程用公式表示如下：uw＝Wwd+bw；us＝Wsd+bs；d代表提取有关信息需要参考的来源文档编码向量，uw和us分别代表单词和句子层面的上下文向量；Ww和bw分别为单词层面的单层全连接层的权值参数和偏置参数，Ws和bs分别为句子层面的单层全连接层的权值参数和偏置参数；在减刑跨文档预测刑期模型中，结合其他文书文档信息的上下文向量具体公式如下： 其中，dcrime、djudge和dperfomance分别是经过静态文本编码器得到的罪名、原判刑期变动、改造表现的编码向量；和分别是犯罪事实和法条依据单词级别的上下文向量；和分别是犯罪事实和法条依据句子级别的上下文向量；动态文本编码器中犯罪事实和法条依据的上下文向量不是直接随机初始化，而是通过结合罪名、原判刑期变动、改造表现的关键信息获得上下文向量，进行训练学习；模型能够关联提取案件的犯罪事实、法条依据的相关信息，生成具有与减刑信息更相关的文本编码——dfact、darticle；三模型减刑刑期分布的确定最后，串联这些相关的文本信息编码d.，并通过一个SoftMax分类器来预测输入案件的减刑刑期分布：d＝concatdcrime，djudge，dperformance，dfact，darticle；p＝softmaxWcd+bc；其中，d.表示某一文本经过文本编码器得到的编码向量，d表示预测减刑刑期需要的编码向量，Wc和bc是单层全连接层的权值参数和偏置参数；采用交叉熵损失作为训练的损失： 其中，x表示输入样本，C为待分类的减刑刑期类别总数，yi为第i个类别对应的真实减刑刑期标签类别，logfix为对应的模型输出减刑刑期类别值；通过最小化交叉熵损失，训练模型参数，来获得可以预测减刑刑期分布的模型。

全文数据：

权利要求：

百度查询： 复旦大学 基于深度学习技术的减刑刑期预测方法