使用aspera下載.fastq.gz和.sra數(shù)據(jù)

aspera

SRA數(shù)據(jù)庫(kù): Sequence Read Archive:隸屬NCBI (National Center for Biotechnology Information)僵井,它是一個(gè)保存高通量測(cè)序原始數(shù)據(jù)以及比對(duì)信息和元數(shù)據(jù) (metadata) 的數(shù)據(jù)庫(kù),所有已發(fā)表的文獻(xiàn)中高通量測(cè)序數(shù)據(jù)基本都上傳至此,方便其他研究者下載及再研究手趣。其中的數(shù)據(jù)則是通過壓縮后以.sra文件格式來保存的。

ENA數(shù)據(jù)庫(kù):European Nucleotide Archive:隸屬EBI (European Bioinformatics Institute)雷逆,功能同SRA尾组,并且對(duì)數(shù)據(jù)做了注釋,界面更友好磕道,當(dāng)然對(duì)于我們來說供屉,最誘人的當(dāng)屬可直接下載fastq (.gz)文件這一項(xiàng)了。

sra文件下載方式

多數(shù)情況下,我們下載sra文件是為了獲取相應(yīng)的fastq或者sam文件伶丐,這樣可以和自己的pipeline對(duì)接上悼做,直接分析,所以

  1. 找地方:用手頭上的SRR (SRA Run)序列號(hào)去ENA搜索哗魂,如果有肛走,就在這兒下;如果沒有录别,就去SRA數(shù)據(jù)庫(kù)下載

  2. 選方法

    • 首選Aspera Connect軟件朽色,這是IBM旗下的商業(yè)高速文件傳輸軟件,與NCBI和EBI有協(xié)作合同组题,我們可以免費(fèi)使用它下載高通量測(cè)序文件葫男,體驗(yàn)飛一般的感覺,速度可飚至300-500M/s崔列。下載完成后梢褐,本地用fastq-dump提取fastq文件,用sam-dump提取SAM文件赵讯。

    • 其次盈咳,如果上述方法不奏效,優(yōu)先使用sratoolkit中的prefetch命令瘦癌。

    • 最后猪贪,使用sratoolkit中的fastq-dumpsam-dump命令下載,如果fastq-dump不穩(wěn)定讯私,推薦大家嘗試Biostar Handbook中的wonderdump腳本热押。

注意:不要用wget或curl去下載sra文件,這會(huì)導(dǎo)致下載的文件不完整斤寇!

Aspera Connect命令行工具ascp的安裝

首先桶癣,進(jìn)入Aspera Connect的下載頁(yè)面,選擇linux版本娘锁,復(fù)制下載地址

wget https://download.asperasoft.com/download/sw/connect/3.9.1/ibm-aspera-connect-3.9.1.171801-linux-g2.12-64.tar.gz
tar zxvf ibm-aspera-connect-3.9.1.171801-linux-g2.12-64.tar.gz
# 安裝
bash ibm-aspera-connect-3.9.1.171801-linux-g2.12-64.sh 
# 查看是否有.aspera文件夾
cd # 去根目錄
ls -a # 如果看到.aspera文件夾牙寞,代表安裝成功 
# 永久添加環(huán)境變量
echo 'export PATH=~/.aspera/connect/bin:$PATH' >> ~/.bashrc
source ~/.bashrc 
# 查看幫助文檔
ascp --help

至此,安裝完成莫秆。

下面介紹如何利用ascp在SRA和ENA中下載數(shù)據(jù)

ascp的用法:ascp [參數(shù)] 目標(biāo)文件 目標(biāo)地址间雀,在線文檔

先了解幾個(gè)ascp命令的常用參數(shù)

-v verbose mode 嘮叨模式,能讓你實(shí)時(shí)知道程序在干啥镊屎,方便查錯(cuò)惹挟。有些作者的程序缺乏人性化,運(yùn)行之后缝驳,只見光標(biāo)閃连锯,壓根不知道運(yùn)行到哪了

-T 取消加密归苍,否則有時(shí)候數(shù)據(jù)下載不了

-i 提供私鑰文件的地址,我也不知道干嘛的运怖,反正不能少拼弃,地址一般是~/.aspera/connect/etc中的asperaweb_id_dsa.openssh文件

-l 設(shè)置最大傳輸速度,一般200m到500m摇展,如果不設(shè)置吻氧,反而速度會(huì)比較低,可能有個(gè)較低的默認(rèn)值

-k 斷點(diǎn)續(xù)傳吗购,一般設(shè)置為值1

-Q 不懂医男,一般加上它

-P 提供SSH port,一般是33001

ascp使用舉例

  1. SRA數(shù)據(jù)庫(kù)下載:首先記住捻勉,數(shù)據(jù)的存放地址是ftp.ncbi.nlm.nih.gov,SRA在Aspera的用戶名是anonftp刀森,下載舉例:

    • 如果我想下載SRR949627.sra文件踱启,首先我需要找到地址,去ncbi faspftp研底,一層層尋找埠偿,直至找到,然后復(fù)制鏈接地址榜晦,就可以開始下載了:
     ascp -v -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -T -l 200m anonftp@ftp.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/SRR/SRR949/SRR949627/SRR949627.sra ~/data/
    
    
    • 注意:anonftp@ftp-private.ncbi.nlm.nih.gov后面是:號(hào)冠蒋,不是路徑/!

    • 一般來說乾胶,NCBI的sra文件前面的地址都是一樣的/sra/sra-instant/reads/ByRun/sra/SRR/...抖剿,那么寫腳本批量下載也就不難了!

  2. ENA數(shù)據(jù)庫(kù)下載:這里和上面有點(diǎn)不同识窿,數(shù)據(jù)的存放地址是fasp.sra.ebi.ac.uk斩郎,ENA在Aspera的用戶名是era-fasp,下載舉例:

    • 比如喻频,要下載PRJEB21270下的幾個(gè)數(shù)據(jù)文件缩宜,方便的是ENA中可以直接下載fastq.gz文件,不用再?gòu)膕ra文件轉(zhuǎn)換了甥温,那么地址呢锻煌,可以去ENA搜索,再?gòu)?fù)制下fastq.gz文件的地址姻蚓,或者可以去ENA的ftp地址ftp.sra.ebi.ac.uk搜索宋梧,注意,是ftp史简,不是fasp乃秀!復(fù)制鏈接地址肛著,就可以下載了:
     ascp -QT -l 300m -P 33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/run/ERR217/ERR2173371/pb.bam ~/data/
    
    • 注意:era-fasp@fasp.sra.ebi.ac.uk后面是:號(hào),不是路徑/跺讯!

    • 一般來說枢贿,EBI的sra文件前面的地址也都是一樣的vol1/run/...,那么寫腳本批量下載也就不難了刀脏!

參考

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末局荚,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子愈污,更是在濱河造成了極大的恐慌耀态,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,372評(píng)論 6 498
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件暂雹,死亡現(xiàn)場(chǎng)離奇詭異首装,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)杭跪,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,368評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門仙逻,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人涧尿,你說我怎么就攤上這事系奉。” “怎么了姑廉?”我有些...
    開封第一講書人閱讀 162,415評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵缺亮,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我桥言,道長(zhǎng)萌踱,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,157評(píng)論 1 292
  • 正文 為了忘掉前任限书,我火速辦了婚禮虫蝶,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘倦西。我一直安慰自己能真,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,171評(píng)論 6 388
  • 文/花漫 我一把揭開白布扰柠。 她就那樣靜靜地躺著粉铐,像睡著了一般。 火紅的嫁衣襯著肌膚如雪卤档。 梳的紋絲不亂的頭發(fā)上蝙泼,一...
    開封第一講書人閱讀 51,125評(píng)論 1 297
  • 那天,我揣著相機(jī)與錄音劝枣,去河邊找鬼汤踏。 笑死织鲸,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的溪胶。 我是一名探鬼主播搂擦,決...
    沈念sama閱讀 40,028評(píng)論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼哗脖!你這毒婦竟也來了瀑踢?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,887評(píng)論 0 274
  • 序言:老撾萬榮一對(duì)情侶失蹤才避,失蹤者是張志新(化名)和其女友劉穎橱夭,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體桑逝,經(jīng)...
    沈念sama閱讀 45,310評(píng)論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡棘劣,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,533評(píng)論 2 332
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了肢娘。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片呈础。...
    茶點(diǎn)故事閱讀 39,690評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖橱健,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情沙廉,我是刑警寧澤拘荡,帶...
    沈念sama閱讀 35,411評(píng)論 5 343
  • 正文 年R本政府宣布,位于F島的核電站撬陵,受9級(jí)特大地震影響珊皿,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜巨税,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,004評(píng)論 3 325
  • 文/蒙蒙 一蟋定、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧草添,春花似錦驶兜、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,659評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至驰后,卻和暖如春肆资,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背灶芝。 一陣腳步聲響...
    開封第一講書人閱讀 32,812評(píng)論 1 268
  • 我被黑心中介騙來泰國(guó)打工郑原, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留唉韭,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 47,693評(píng)論 2 368
  • 正文 我出身青樓犯犁,卻偏偏與公主長(zhǎng)得像属愤,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子栖秕,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,577評(píng)論 2 353

推薦閱讀更多精彩內(nèi)容