科研小白學習筆記:通過linux服務(wù)器下載sra文件

? 通過linux服務(wù)器終端下載轉(zhuǎn)錄組測序文件的方式有很多件舵,不同數(shù)據(jù)庫可能需要執(zhí)行不同的下載代碼,我在這簡單梳理一下脯厨。(因為剛接觸linux系統(tǒng)铅祸,肯定會存在紕漏,敬請指正:衔洹)

1.NCBI數(shù)據(jù)庫

我首先嘗試的是

wget https://sra-pub-run-odp.s3.amazonaws.com/sra/SRR11955376/SRR11955376

然而临梗,這種方式下載速度非常慢。上網(wǎng)查詢后發(fā)現(xiàn)很多人推薦使用sratoolkit來下載NCBI上的sra文件(下載鏈接:https://www.ncbi.nlm.nih.gov/home/tools/)

下載安裝sratoolkit后輸入:

prefetch SRP133642

可直接下載目標文件

注:很多帖子說可以用prefetch+aspera的方式高速下載sra文件稼跳,但我一直沒成功盟庞。可能是因為ncbi已經(jīng)不支持aspera下載sra文件的方式(參考鏈接:https://github.com/ncbi/sra-tools/issues/255

#批量下載

從ncbi的sra數(shù)據(jù)庫上下載access_list.txt文件

然后執(zhí)行:

cat SRR_Acc_List.txt |while read id;do (prefetch $id -X 100G );done #可加nohup掛后臺下載


2.ENA數(shù)據(jù)庫

網(wǎng)上很多人推薦從ena下載sra數(shù)據(jù)汤善,不僅是因為ena仍然支持aspera高速下載什猖,而且可以直接下載fastq文件,不需要后續(xù)sra文件到fastq文件轉(zhuǎn)換红淡。

下載代碼:

ascp -QT -l 300m -P33001? \

-i ~/miniconda3/envs/cellranger/etc/asperaweb_id_dsa.openssh? \

era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR180/001/SRR1805931/SRR1805931_1.fastq.gz .

#批量下載

#進入ena數(shù)據(jù)庫下載TSV文件不狮,整理成如下形式

#fasp.sra.ebi.ac.uk:/vol1/fastq/SRR103/008/SRR1039508/SRR1039508_1.fastq.gz

? fasp.sra.ebi.ac.uk:/vol1/fastq/SRR103/009/SRR1039509/SRR1039509_1.fastq.gz

? fasp.sra.ebi.ac.uk:/vol1/fastq/SRR103/000/SRR1039510/SRR1039510_1.fastq.gz

? fasp.sra.ebi.ac.uk:/vol1/fastq/SRR103/008/SRR1039508/SRR1039508_2.fastq.gz

? ....

cat fq.txt |while read id

do

ascp -QT -l 300m -P33001? \

-i ~/miniconda3/envs/download/etc/asperaweb_id_dsa.openssh? \

era-fasp@$id? .

done

(ena數(shù)據(jù)庫默認的ascp id是era-fasp)


3.GSA數(shù)據(jù)庫

GSA數(shù)據(jù)庫是中科院北京基因組研究所生命與健康大數(shù)據(jù)中心開發(fā)的原始組學數(shù)據(jù)歸檔庫。與以上兩種數(shù)據(jù)庫類似在旱,主要用于存儲測序文件摇零。

下載方式:

#根據(jù)項目號查找項目

wget -c -r -np -k -L -p? ftp://download.big.ac.cn/gsa/[GSA_ID]/ #按項目號搜索后可以得到下載鏈接,替換即可

#wget批量下載

wget -i file1.txt

(file.txt:將數(shù)據(jù)下載鏈接匯總為一個txt文件)

#使用aspera下載(未成功桶蝎,代碼執(zhí)行后需要密碼驻仅,可能需要管理員權(quán)限?)

ascp -P33001 -i ~/miniconda3/envs/cellranger/etc/asperaweb_id_dsa.openssh -Q -T -l 200m -k1 -d aspera01@download.cncb.ac.cn:gsa2/CRA006042 ~/scrna/raw/PRJCA008174/

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末登渣,一起剝皮案震驚了整個濱河市噪服,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌胜茧,老刑警劉巖芯咧,帶你破解...
    沈念sama閱讀 217,277評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異竹揍,居然都是意外死亡,警方通過查閱死者的電腦和手機邪铲,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,689評論 3 393
  • 文/潘曉璐 我一進店門芬位,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人带到,你說我怎么就攤上這事昧碉。” “怎么了?”我有些...
    開封第一講書人閱讀 163,624評論 0 353
  • 文/不壞的土叔 我叫張陵被饿,是天一觀的道長四康。 經(jīng)常有香客問我,道長狭握,這世上最難降的妖魔是什么闪金? 我笑而不...
    開封第一講書人閱讀 58,356評論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮论颅,結(jié)果婚禮上哎垦,老公的妹妹穿的比我還像新娘。我一直安慰自己恃疯,他們只是感情好漏设,可當我...
    茶點故事閱讀 67,402評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著今妄,像睡著了一般郑口。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上盾鳞,一...
    開封第一講書人閱讀 51,292評論 1 301
  • 那天犬性,我揣著相機與錄音,去河邊找鬼雁仲。 笑死仔夺,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的攒砖。 我是一名探鬼主播缸兔,決...
    沈念sama閱讀 40,135評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼吹艇!你這毒婦竟也來了惰蜜?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,992評論 0 275
  • 序言:老撾萬榮一對情侶失蹤受神,失蹤者是張志新(化名)和其女友劉穎抛猖,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體鼻听,經(jīng)...
    沈念sama閱讀 45,429評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡财著,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,636評論 3 334
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了撑碴。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片撑教。...
    茶點故事閱讀 39,785評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖醉拓,靈堂內(nèi)的尸體忽然破棺而出伟姐,到底是詐尸還是另有隱情收苏,我是刑警寧澤,帶...
    沈念sama閱讀 35,492評論 5 345
  • 正文 年R本政府宣布愤兵,位于F島的核電站鹿霸,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏秆乳。R本人自食惡果不足惜懦鼠,卻給世界環(huán)境...
    茶點故事閱讀 41,092評論 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望矫夷。 院中可真熱鬧葛闷,春花似錦、人聲如沸双藕。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,723評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽忧陪。三九已至扣泊,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間嘶摊,已是汗流浹背延蟹。 一陣腳步聲響...
    開封第一講書人閱讀 32,858評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留叶堆,地道東北人阱飘。 一個月前我還...
    沈念sama閱讀 47,891評論 2 370
  • 正文 我出身青樓,卻偏偏與公主長得像虱颗,于是被迫代替她去往敵國和親沥匈。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,713評論 2 354

推薦閱讀更多精彩內(nèi)容