本節(jié)概覽:
1.在文章中找到 GEO accession number, 從NCBI獲取數(shù)據(jù)SRR號
2.在linux中使用prefetch命令根據(jù)SRR號下載SRA文件
3.使用fasterq-dump/fastq-dump命令將SRA文件轉(zhuǎn)為FASTQ格式,pigz軟件多線程壓縮(可選)
4.使用fastqc和multiqc進(jìn)行測序數(shù)據(jù)的質(zhì)控查看
5.使用trim-galore去除低質(zhì)量堿基和接頭
承接上節(jié)RNA-seq入門實戰(zhàn)(零):RNA-seq流程前的準(zhǔn)備——Linux與R的環(huán)境創(chuàng)建
一、從NCBI獲取數(shù)據(jù)SRR號
數(shù)據(jù)的文章來源:
Formative pluripotent stem cells show features of epiblast cells poised for gastrulation | Cell Research (nature.com)
在文章的Data availability 下找到 GEO accession number: GSE154290
進(jìn)入NCBI官網(wǎng)搜索GSE154290台颠,選擇相應(yīng)結(jié)果進(jìn)入
找到Supplementary file 下的SRA Run Select選項
Common Fields下介紹了數(shù)據(jù)的基本信息,例如表中的PAIRED表示雙端測序數(shù)據(jù)勒庄。此次實戰(zhàn)選擇勾選 Found 27 Items下的RNA_mESCs和RNA_EpiSCs各兩個數(shù)據(jù)串前,再選中Select下的Selected選項,下載Accession List后復(fù)制數(shù)據(jù)的SRR號
二实蔽、SRA數(shù)據(jù)下載
1.創(chuàng)建并進(jìn)入test項目文件夾荡碾,將SRR號粘貼導(dǎo)入idname文件
mkdir test ;cd test
cat > idname
SRR12207279
SRR12207280
SRR12207283
SRR12207284
^C
2.創(chuàng)建SRA數(shù)據(jù)下載的腳本文件
vim 00_prefetch.sh
主要利用了sra-tools中的 prefetch命令下載sra數(shù)據(jù)
#sh內(nèi)容################################
echo -e "\n \n \n prefetch sra !!! \n \n \n "
date
mkdir -p ~/test/raw/sra/
cd ~/test/raw/sra/
pwd
cat ~/test/idname | while read id ; \
do
( prefetch -O ./ $id & )
done
3.后臺掛起運(yùn)行腳本,運(yùn)行情況導(dǎo)入log_00日志文件
nohup bash 00_prefetch.sh >log_00 2>&1 &
查看一下系統(tǒng)任務(wù)運(yùn)行情況和test項目下的文件結(jié)構(gòu)
任務(wù)運(yùn)行沒問題局装,等待數(shù)據(jù)下載完畢坛吁,暫時去relax一下吧ヽ( ̄▽ ̄)?
當(dāng)cat log_00
出現(xiàn)以下downloaded successfully字樣時表示下載完成,再檢查數(shù)據(jù)下載情況铐尚,確認(rèn)下載完成沒問題后就可以進(jìn)行下一步文件格式轉(zhuǎn)化啦
三拨脉、 SRA文件轉(zhuǎn)為FASTQ格式
主要利用了sra-tool中的fasterq-dump命令轉(zhuǎn)化格式為fastq,之后用pigz軟件多線程壓縮為.gz文件節(jié)省空間(可略過)宣增,再用fastqc和multiqc進(jìn)行原始數(shù)據(jù)的質(zhì)控和質(zhì)控匯總~
同上玫膀,先創(chuàng)建 01_sra2fq_qc1.sh 腳本文件
vim 01_sra2fq_qc1.sh
###########################################
#移動sra子文件夾下的文件并刪除子文件夾
date
echo -e "\n \n \n 111# move files !!! \n \n \n "
cd ~/test/raw/sra/
cat ~/test/idname | while read id
do
mv $id/* ./
rm -rf $id/
done
date
echo -e "\n \n \n 111# sra>>>fq !!! \n \n \n "
mkdir -p ~/test/raw/fq/
cd ~/test/raw/fq/
pwd
ls ~/test/raw/sra/*.sra |while read id
do
echo " PROCESS $(basename $id) "
fasterq-dump -3 -e 12 -O ./ $id
pigz -p 12 ~/test/raw/fq/*q
done
date
echo -e " \n \n \n 111# qc 1 !!! \n \n \n "
mkdir ~/test/raw/qc1/
cd ~/test/raw/qc1/
pwd
ls ~/test/raw/fq/* | xargs fastqc -t 12 -o ./
multiqc ./
echo -e " \n 111# ALL Work Done!!! \n "
date
運(yùn)行01_sra2fq_qc1.sh 腳本文件
nohup bash 01_sra2fq_qc1.sh >log_01 2>&1 &
等待任務(wù)完成,查看一下raw文件夾下數(shù)據(jù)四爹脾、質(zhì)控清洗
1. 原始數(shù)據(jù)質(zhì)量查看
查看上一步qc1文件夾下的multiqc_report.html質(zhì)控匯總網(wǎng)頁文件帖旨,主要關(guān)注測序質(zhì)量與測序接頭這兩項內(nèi)容劳景,可以發(fā)現(xiàn)該數(shù)據(jù)質(zhì)量較好,平均質(zhì)量均在30以上碉就,接頭含量也很低盟广。
具體內(nèi)容分析見:
20160410 測序分析——使用 FastQC 做質(zhì)控 - 知乎 (zhihu.com)
小L生信學(xué)習(xí)日記-3丨原始數(shù)據(jù)質(zhì)量如何判斷?-上 (qq.com)
小L生信學(xué)習(xí)日記-4丨原始數(shù)據(jù)質(zhì)量如何判斷瓮钥?-下 - 知乎 (zhihu.com)
2. 質(zhì)控清洗數(shù)據(jù)
主要使用trim-galore去除低質(zhì)量堿基和接頭筋量,詳盡使用方法參見lncRNA組裝流程的軟件介紹之trim-galore
常用參數(shù)如下:
vim 2_cleanfq_qc2.sh
##############################################
echo -e " \n \n \n 222# Clean ! trim_galore !!! \n \n \n"
date
mkdir ~/test/clean/
cd ~/test/clean/
pwd
##########single###########################################################################
#ls ~/test/raw/fq/*.f* | while read id
#do
# trim_galore -q 25 -j 4 --phred33 --length 35 --stringency 3 \
# --gzip -o ~/test/clean/ $id
#done
#
##########paired###########################################################################
#1)先把文件_1、_2的路徑文件名分別存儲碉熄,再合并成兩列的格式桨武,存為config#########
ls ~/test/raw/fq/*_1* >1
ls ~/test/raw/fq/*_2* >2
paste 1 2 >config
cat config | while read id
do
arr=($id)
fq1=${arr[0]}
fq2=${arr[1]}
trim_galore -j 4 -q 25 --phred33 --length 35 --stringency 3 \
--paired --gzip -o ~/test/clean/ $fq1 $fq2
done
###########################################################################################
echo -e "\n \n \n 222# qc2 檢查clean清洗結(jié)果!!! \n \n \n"
mkdir ~/test/clean/qc2
cd ~/test/clean/qc2
pwd
ls ~/test/clean/*f*.gz | xargs fastqc -t 12 -o ~/test/clean/qc2
multiqc ./
echo -e " \n 222# ALL Work Done !!! \n "
date
nohup bash 2_cleanfq_qc2.sh >log_2 2>&1 &
3. 清洗后數(shù)據(jù)質(zhì)量查看
查看~/test/clean/qc2下的multiqc_report.html質(zhì)控匯總網(wǎng)頁文件,堿基質(zhì)量更好一些了到此锈津,我們完成了RNAseq原始數(shù)據(jù)的下載呀酸、格式轉(zhuǎn)化和質(zhì)控清洗步驟,得到了經(jīng)過質(zhì)控后存放于clean文件夾下的fastq文件琼梆,接下來就可以利用這些cleaned fastq文件進(jìn)行下一步的比對性誉、計數(shù)(hisat2+feature_counts 或 salmon),最終得到我們想要的counts文件
參考資料
20160410 測序分析——使用 FastQC 做質(zhì)控 - 知乎 (zhihu.com)
小L生信學(xué)習(xí)日記-3丨原始數(shù)據(jù)質(zhì)量如何判斷茎杂?-上 (qq.com)
小L生信學(xué)習(xí)日記-4丨原始數(shù)據(jù)質(zhì)量如何判斷错览?-下 - 知乎 (zhihu.com)
lncRNA組裝流程的軟件介紹之trim-galore
本實戰(zhàn)教程基于以下生信技能樹分享的視頻:
【生信技能樹】轉(zhuǎn)錄組測序數(shù)據(jù)分析_嗶哩嗶哩_bilibili
【生信技能樹】GEO數(shù)據(jù)庫挖掘_嗶哩嗶哩_bilibili
RNA-seq實戰(zhàn)系列文章:
RNA-seq入門實戰(zhàn)(零):RNA-seq流程前的準(zhǔn)備——Linux與R的環(huán)境創(chuàng)建
RNA-seq入門實戰(zhàn)(一):上游數(shù)據(jù)下載、格式轉(zhuǎn)化和質(zhì)控清洗
RNA-seq入門實戰(zhàn)(二):上游數(shù)據(jù)的比對計數(shù)——Hisat2+ featureCounts 與 Salmon
RNA-seq入門實戰(zhàn)(三):從featureCounts與Salmon輸出文件獲取counts矩陣
RNA-seq入門實戰(zhàn)(四):差異分析前的準(zhǔn)備——數(shù)據(jù)檢查
RNA-seq入門實戰(zhàn)(五):差異分析——DESeq2 edgeR limma的使用與比較
RNA-seq入門實戰(zhàn)(六):GO煌往、KEGG富集分析與enrichplot超全可視化攻略
RNA-seq入門實戰(zhàn)(七):GSEA——基因集富集分析
RNA-seq入門實戰(zhàn)(八):GSVA——基因集變異分析
RNA-seq入門實戰(zhàn)(九):PPI蛋白互作網(wǎng)絡(luò)構(gòu)建(上)——STRING數(shù)據(jù)庫的使用
RNA-seq入門實戰(zhàn)(十):PPI蛋白互作網(wǎng)絡(luò)構(gòu)建(下)——Cytoscape軟件的使用
RNA-seq入門實戰(zhàn)(十一):WGCNA加權(quán)基因共表達(dá)網(wǎng)絡(luò)分析——關(guān)聯(lián)基因模塊與表型