RNA-seq入門實戰(zhàn)(一):上游數(shù)據(jù)下載、格式轉(zhuǎn)化和質(zhì)控清洗

RNA-seq入門實戰(zhàn)整體分析流程

本節(jié)概覽:
1.在文章中找到 GEO accession number, 從NCBI獲取數(shù)據(jù)SRR號
2.在linux中使用prefetch命令根據(jù)SRR號下載SRA文件
3.使用fasterq-dump/fastq-dump命令將SRA文件轉(zhuǎn)為FASTQ格式,pigz軟件多線程壓縮(可選)
4.使用fastqcmultiqc進(jìn)行測序數(shù)據(jù)的質(zhì)控查看
5.使用trim-galore去除低質(zhì)量堿基和接頭

承接上節(jié)RNA-seq入門實戰(zhàn)(零):RNA-seq流程前的準(zhǔn)備——Linux與R的環(huán)境創(chuàng)建

一、從NCBI獲取數(shù)據(jù)SRR號

數(shù)據(jù)的文章來源:
Formative pluripotent stem cells show features of epiblast cells poised for gastrulation | Cell Research (nature.com)
在文章的Data availability 下找到 GEO accession number: GSE154290

進(jìn)入NCBI官網(wǎng)搜索GSE154290台颠,選擇相應(yīng)結(jié)果進(jìn)入


找到Supplementary file 下的SRA Run Select選項

Common Fields下介紹了數(shù)據(jù)的基本信息,例如表中的PAIRED表示雙端測序數(shù)據(jù)勒庄。此次實戰(zhàn)選擇勾選 Found 27 Items下的RNA_mESCsRNA_EpiSCs各兩個數(shù)據(jù)串前,再選中Select下的Selected選項,下載Accession List后復(fù)制數(shù)據(jù)的SRR號


二实蔽、SRA數(shù)據(jù)下載

1.創(chuàng)建并進(jìn)入test項目文件夾荡碾,將SRR號粘貼導(dǎo)入idname文件

mkdir test ;cd test
cat > idname
SRR12207279
SRR12207280
SRR12207283
SRR12207284
^C

2.創(chuàng)建SRA數(shù)據(jù)下載的腳本文件

vim 00_prefetch.sh 

主要利用了sra-tools中的 prefetch命令下載sra數(shù)據(jù)

#sh內(nèi)容################################
echo -e "\n \n \n prefetch sra !!! \n \n \n "
date
mkdir -p ~/test/raw/sra/
cd ~/test/raw/sra/
pwd

cat  ~/test/idname | while read id ; \
do
      ( prefetch -O ./ $id & )
done             

3.后臺掛起運(yùn)行腳本,運(yùn)行情況導(dǎo)入log_00日志文件

nohup bash 00_prefetch.sh >log_00 2>&1 &

查看一下系統(tǒng)任務(wù)運(yùn)行情況和test項目下的文件結(jié)構(gòu)


任務(wù)運(yùn)行沒問題局装,等待數(shù)據(jù)下載完畢坛吁,暫時去relax一下吧ヽ( ̄▽ ̄)?
當(dāng)cat log_00出現(xiàn)以下downloaded successfully字樣時表示下載完成,再檢查數(shù)據(jù)下載情況铐尚,確認(rèn)下載完成沒問題后就可以進(jìn)行下一步文件格式轉(zhuǎn)化啦

prefetch.log


三拨脉、 SRA文件轉(zhuǎn)為FASTQ格式

主要利用了sra-tool中的fasterq-dump命令轉(zhuǎn)化格式為fastq,之后用pigz軟件多線程壓縮為.gz文件節(jié)省空間(可略過)宣增,再用fastqc和multiqc進(jìn)行原始數(shù)據(jù)的質(zhì)控和質(zhì)控匯總~

fasterq-dump/fastq-dump常用參數(shù)

同上玫膀,先創(chuàng)建 01_sra2fq_qc1.sh 腳本文件

vim 01_sra2fq_qc1.sh 
###########################################
#移動sra子文件夾下的文件并刪除子文件夾
date
echo  -e "\n \n \n  111#  move files !!! \n \n \n  "
cd ~/test/raw/sra/
cat ~/test/idname | while read id
do
mv $id/*  ./
rm -rf $id/
done
date


echo  -e "\n \n \n  111#  sra>>>fq !!! \n \n \n  "
mkdir -p ~/test/raw/fq/
cd ~/test/raw/fq/
pwd
ls  ~/test/raw/sra/*.sra |while read id 
do
echo " PROCESS $(basename $id) "
fasterq-dump -3 -e 12 -O ./ $id
pigz -p 12   ~/test/raw/fq/*q
done
date


echo -e " \n \n \n  111# qc 1 !!! \n \n \n "       
mkdir ~/test/raw/qc1/
cd  ~/test/raw/qc1/
pwd
ls ~/test/raw/fq/* | xargs fastqc -t 12 -o  ./
multiqc ./

echo -e  " \n 111#  ALL  Work Done!!! \n "
date

運(yùn)行01_sra2fq_qc1.sh 腳本文件

nohup bash 01_sra2fq_qc1.sh >log_01 2>&1 &

等待任務(wù)完成,查看一下raw文件夾下數(shù)據(jù)
tree raw

四爹脾、質(zhì)控清洗

1. 原始數(shù)據(jù)質(zhì)量查看

查看上一步qc1文件夾下的multiqc_report.html質(zhì)控匯總網(wǎng)頁文件帖旨,主要關(guān)注測序質(zhì)量與測序接頭這兩項內(nèi)容劳景,可以發(fā)現(xiàn)該數(shù)據(jù)質(zhì)量較好,平均質(zhì)量均在30以上碉就,接頭含量也很低盟广。
具體內(nèi)容分析見:
20160410 測序分析——使用 FastQC 做質(zhì)控 - 知乎 (zhihu.com)
小L生信學(xué)習(xí)日記-3丨原始數(shù)據(jù)質(zhì)量如何判斷?-上 (qq.com)
小L生信學(xué)習(xí)日記-4丨原始數(shù)據(jù)質(zhì)量如何判斷瓮钥?-下 - 知乎 (zhihu.com)

2. 質(zhì)控清洗數(shù)據(jù)

主要使用trim-galore去除低質(zhì)量堿基和接頭筋量,詳盡使用方法參見lncRNA組裝流程的軟件介紹之trim-galore
常用參數(shù)如下:

trim-galore常用參數(shù)

vim 2_cleanfq_qc2.sh 
##############################################
echo -e " \n \n \n 222# Clean ! trim_galore !!! \n \n \n"
date
mkdir ~/test/clean/
cd ~/test/clean/
pwd

##########single###########################################################################
#ls ~/test/raw/fq/*.f* | while read id 
#do 
#       trim_galore -q 25 -j 4 --phred33 --length 35 --stringency 3 \
#               --gzip  -o ~/test/clean/  $id 
#done
#
##########paired###########################################################################
#1)先把文件_1、_2的路徑文件名分別存儲碉熄,再合并成兩列的格式桨武,存為config#########
  ls ~/test/raw/fq/*_1*  >1
  ls ~/test/raw/fq/*_2*  >2
  paste 1 2 >config
  cat config | while read id
  do
    arr=($id)
    fq1=${arr[0]}
    fq2=${arr[1]}
   trim_galore  -j 4  -q 25  --phred33 --length 35 --stringency 3 \
               --paired --gzip -o ~/test/clean/  $fq1 $fq2
  done
###########################################################################################                  


echo -e "\n \n \n 222# qc2 檢查clean清洗結(jié)果!!! \n \n \n"
mkdir  ~/test/clean/qc2
cd ~/test/clean/qc2
pwd
ls ~/test/clean/*f*.gz | xargs fastqc -t 12 -o   ~/test/clean/qc2
multiqc   ./

echo -e " \n 222# ALL  Work Done !!! \n "
date
nohup bash  2_cleanfq_qc2.sh >log_2 2>&1 &

3. 清洗后數(shù)據(jù)質(zhì)量查看

查看~/test/clean/qc2下的multiqc_report.html質(zhì)控匯總網(wǎng)頁文件,堿基質(zhì)量更好一些了

到此锈津,我們完成了RNAseq原始數(shù)據(jù)的下載呀酸、格式轉(zhuǎn)化和質(zhì)控清洗步驟,得到了經(jīng)過質(zhì)控后存放于clean文件夾下的fastq文件琼梆,接下來就可以利用這些cleaned fastq文件進(jìn)行下一步的比對性誉、計數(shù)(hisat2+feature_counts 或 salmon),最終得到我們想要的counts文件

參考資料
20160410 測序分析——使用 FastQC 做質(zhì)控 - 知乎 (zhihu.com)
小L生信學(xué)習(xí)日記-3丨原始數(shù)據(jù)質(zhì)量如何判斷茎杂?-上 (qq.com)
小L生信學(xué)習(xí)日記-4丨原始數(shù)據(jù)質(zhì)量如何判斷错览?-下 - 知乎 (zhihu.com)
lncRNA組裝流程的軟件介紹之trim-galore
本實戰(zhàn)教程基于以下生信技能樹分享的視頻:
【生信技能樹】轉(zhuǎn)錄組測序數(shù)據(jù)分析_嗶哩嗶哩_bilibili
【生信技能樹】GEO數(shù)據(jù)庫挖掘_嗶哩嗶哩_bilibili


RNA-seq實戰(zhàn)系列文章:
RNA-seq入門實戰(zhàn)(零):RNA-seq流程前的準(zhǔn)備——Linux與R的環(huán)境創(chuàng)建
RNA-seq入門實戰(zhàn)(一):上游數(shù)據(jù)下載、格式轉(zhuǎn)化和質(zhì)控清洗
RNA-seq入門實戰(zhàn)(二):上游數(shù)據(jù)的比對計數(shù)——Hisat2+ featureCounts 與 Salmon
RNA-seq入門實戰(zhàn)(三):從featureCounts與Salmon輸出文件獲取counts矩陣
RNA-seq入門實戰(zhàn)(四):差異分析前的準(zhǔn)備——數(shù)據(jù)檢查
RNA-seq入門實戰(zhàn)(五):差異分析——DESeq2 edgeR limma的使用與比較
RNA-seq入門實戰(zhàn)(六):GO煌往、KEGG富集分析與enrichplot超全可視化攻略
RNA-seq入門實戰(zhàn)(七):GSEA——基因集富集分析
RNA-seq入門實戰(zhàn)(八):GSVA——基因集變異分析
RNA-seq入門實戰(zhàn)(九):PPI蛋白互作網(wǎng)絡(luò)構(gòu)建(上)——STRING數(shù)據(jù)庫的使用
RNA-seq入門實戰(zhàn)(十):PPI蛋白互作網(wǎng)絡(luò)構(gòu)建(下)——Cytoscape軟件的使用
RNA-seq入門實戰(zhàn)(十一):WGCNA加權(quán)基因共表達(dá)網(wǎng)絡(luò)分析——關(guān)聯(lián)基因模塊與表型

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末倾哺,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子刽脖,更是在濱河造成了極大的恐慌羞海,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,372評論 6 498
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件曲管,死亡現(xiàn)場離奇詭異却邓,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)翘地,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,368評論 3 392
  • 文/潘曉璐 我一進(jìn)店門申尤,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人衙耕,你說我怎么就攤上這事昧穿。” “怎么了橙喘?”我有些...
    開封第一講書人閱讀 162,415評論 0 353
  • 文/不壞的土叔 我叫張陵时鸵,是天一觀的道長。 經(jīng)常有香客問我,道長饰潜,這世上最難降的妖魔是什么初坠? 我笑而不...
    開封第一講書人閱讀 58,157評論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮彭雾,結(jié)果婚禮上碟刺,老公的妹妹穿的比我還像新娘。我一直安慰自己薯酝,他們只是感情好半沽,可當(dāng)我...
    茶點故事閱讀 67,171評論 6 388
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著吴菠,像睡著了一般者填。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上做葵,一...
    開封第一講書人閱讀 51,125評論 1 297
  • 那天占哟,我揣著相機(jī)與錄音,去河邊找鬼酿矢。 笑死榨乎,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的棠涮。 我是一名探鬼主播谬哀,決...
    沈念sama閱讀 40,028評論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼刺覆,長吁一口氣:“原來是場噩夢啊……” “哼严肪!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起谦屑,我...
    開封第一講書人閱讀 38,887評論 0 274
  • 序言:老撾萬榮一對情侶失蹤驳糯,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后氢橙,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體酝枢,經(jīng)...
    沈念sama閱讀 45,310評論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,533評論 2 332
  • 正文 我和宋清朗相戀三年悍手,在試婚紗的時候發(fā)現(xiàn)自己被綠了帘睦。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,690評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡坦康,死狀恐怖竣付,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情滞欠,我是刑警寧澤古胆,帶...
    沈念sama閱讀 35,411評論 5 343
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響逸绎,放射性物質(zhì)發(fā)生泄漏惹恃。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,004評論 3 325
  • 文/蒙蒙 一棺牧、第九天 我趴在偏房一處隱蔽的房頂上張望巫糙。 院中可真熱鬧,春花似錦颊乘、人聲如沸曲秉。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,659評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽承二。三九已至,卻和暖如春纲爸,著一層夾襖步出監(jiān)牢的瞬間亥鸠,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,812評論 1 268
  • 我被黑心中介騙來泰國打工识啦, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留负蚊,地道東北人。 一個月前我還...
    沈念sama閱讀 47,693評論 2 368
  • 正文 我出身青樓颓哮,卻偏偏與公主長得像家妆,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子冕茅,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,577評論 2 353

推薦閱讀更多精彩內(nèi)容