买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：厦门大学

摘要：本发明公开了一种基于UMI‑tools和Spark的单细胞上游大数据处理方法，包括如下步骤：S1、通过HadoopBAM的接口读取FASTQR1和FASTQR2文件，并分别抽象为FASTQR1数据集和FASTQR2数据集；S2、从FASTQR2数据集筛选出待处理的FASTQ数据集；S3、利用软件STAR将待处理的FASTQ数据集转化为SAM数据集；S4、读取GTF数据集和SAM数据集，分别根据各自记录中的染色体名进行聚合分组，得到GTF数据集组和SAM数据集组；S5、将GTF数据集组和SAM数据集组中具有相同染色体名的SAM记录和GTF记录进行拼接，并计数；S6、将计数的结果保存为结果文件。本发明大大减少了不必要的中间读写过程，提高数据处理的效率。

主权项：1.一种基于UMI-tools和Spark的单细胞上游大数据处理方法，其特征在于：包括如下步骤：S1、通过HadoopBAM的接口读取FASTQR1和FASTQR2文件，并分别抽象为FASTQR1数据集和FASTQR2数据集；S2、从所述FASTQR2数据集筛选出待处理的FASTQ数据集；所述步骤S2中的从所述FASTQR2数据集筛选出待处理的FASTQ数据集，具体为：S21、根据所述FASTQR1数据集中出现频率最高的UMI构造出白名单数据集WHITELISTRDD；S22、分别压缩所述FASTQR1数据集和FASTQR2数据集得到索引好的R1数据集和索引好的R2数据集；S23、对照所述白名单数据集，将所述FASTQR1数据集的UMI未出现在所述白名单数据集的对应的所述索引好的R1数据集删除，得到过滤后的R1数据集；S24、通过所述过滤后的R1数据集从所述索引好的R2数据集筛选出过滤后的R2数据集作为待处理的FASTQ数据集；S3、利用软件STAR将所述待处理的FASTQ数据集转化为SAM数据集；S4、读取GTF数据集和所述SAM数据集，分别根据各自记录中的染色体名进行聚合分组，得到GTF数据集组和SAM数据集组；S5、将所述GTF数据集组和SAM数据集组中具有相同染色体名的SAM记录和GTF记录进行拼接，并计数；S6、将计数的结果保存为结果文件。

全文数据：

权利要求：

百度查询： 厦门大学 一种基于UMI-tools和Spark的单细胞上游大数据处理方法