安裝Aspera Connect工具下載sra數(shù)據(jù)

比較悲催的是現(xiàn)在下不了榔组,查了很多沒有找到解決辦法

ascp: Failed to open TCP connection for SSH, exiting.  

Session Stop  (Error: Failed to open TCP connection for SSH)

加上一個(gè)端口參數(shù) -P 33001熙尉,貌似可以下載了(今天2019.5.23晚上在摸索下)

一、下載安裝Aspera Connect

這兩天學(xué)習(xí)生信技能樹RNA-seq和scRNA-seq,直接下載sra網(wǎng)速太慢搓扯,就找了一下下載方法检痰。
Linux系統(tǒng)下的Aspera Connect安裝(Windows下的Aspera Connect安裝參考)。
查看最新版本的Aspera - High-speed file transfer software - aspera connect https://downloads.asperasoft.com/en/downloads/8?list

1. 下載

mkdir biosoft && cd biosoft
nohup wget http://download.asperasoft.com/download/sw/connect/3.7.4/aspera-connect-3.7.4.147727-linux-64.tar.gz &
tar zxvf aspera-connect-3.7.4.147727-linux-64.tar.gz

2. 安裝

bash aspera-connect-3.7.4.147727-linux-64.sh

3. 查看是否有.aspera文件夾

cd # 去根目錄
ls -a # 如果看到.aspera文件夾锨推,代表安裝成功

4. 永久添加環(huán)境變量

echo 'export PATH=~/.aspera/connect/bin:$PATH' >> ~/.bashrc
source ~/.bashrc

5. 查看幫助文檔

ascp --help

二铅歼、下載sra數(shù)據(jù)

Aspera用法如下:
Usage: ascp [參數(shù)] 目標(biāo)文件 保存路徑
-v verbose mode 嘮叨模式,能讓你實(shí)時(shí)知道程序在干啥换可,方便查錯(cuò)椎椰。有些作者的程序缺乏人性化,運(yùn)行之后沾鳄,只見光標(biāo)閃所踊,壓根不知道運(yùn)行到哪了

-T 取消加密授段,否則有時(shí)候數(shù)據(jù)下載不了

-i 提供私鑰文件的地址,不能少,地址一般是~/.aspera/connect/etc中的asperaweb_id_dsa.openssh文件

-l 設(shè)置最大傳輸速度碴裙,一般200m到500m,如果不設(shè)置走越,反而速度會(huì)比較低杏糙,可能有個(gè)較低的默認(rèn)值

-k 斷點(diǎn)續(xù)傳,一般設(shè)置為值1

-Q 一般加上它

-P 提供SSH port浆熔,端口一般是33001本辐,

SRA數(shù)據(jù)庫下載:首先記住,數(shù)據(jù)的存放地址是ftp-private.ncbi.nlm.nih.gov医增,SRA在Aspera的用戶名是anonftp慎皱,下載舉例:

如果我想下載SRR949627.sra文件,首先我需要找到地址叶骨,去ncbi ftp-private或者ncbi faspftp茫多,一層層尋找,直至找到忽刽,然后復(fù)制鏈接地址天揖,就可以開始下載了:

一般來說,NCBI的sra文件前面的地址都是一樣的/sra/sra-instant/reads/ByRun/sra/SRR/...跪帝,那么寫腳本批量下載也就不難了今膊!

Step 1:建立sra文件夾保存下載序列

mkdir sra && cd sra

Step 2:下載SRA文件到sra文件夾

ascp -T -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh  -k 1 -l 200m anonftp@ftp-private.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/SRR/SRR620/SRR6208854/SRR6208854.sra ~/sra/
 ascp -v -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -T -l 200m anonftp@ftp-private.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/SRR/SRR949/SRR949627/SRR949627.sra ~/biostar/aspera/

Aspera批量下載SRA文件

很多時(shí)候需要同時(shí)下載多個(gè)SRA文件,ascp命令提供參數(shù)--file-list伞剑,用于批量下載SRA文件斑唬。

Step 1:建立SRA文件路徑列表文件sra_list.txt

nano ~/sra/sra_list.txt

輸入以下兩行文本:

/sra/sra-instant/reads/ByRun/sra/SRR/SRR623/SRR6232298/SRR6232298.sra
/sra/sra-instant/reads/ByRun/sra/SRR/SRR623/SRR6232299/SRR6232299.sra
#按Ctrl+O,Ctrl+X保存退出

Step 2:批量下載sra_list.txt列表中的文件

ascp -T -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh  -k 1 -l 200m --mode recv --host ftp-private.ncbi.nlm.nih.gov --user anonftp --file-list ~/sra/sra_list.txt ~/sra/

100s下載了近700M文件,平均速度超過60M/s


NA數(shù)據(jù)庫下載:這里和上面不同黎泣,數(shù)據(jù)的存放地址是fasp.sra.ebi.ac.uk恕刘,ENA在Aspera的用戶名是era-fasp,下載舉例:

同樣聘裁,我還是下載SRR949627雪营,方便的是ENA中可以直接下載fastq.gz文件,不用再從sra文件慢吞吞的轉(zhuǎn)換了衡便,那么地址呢献起,可以去ENA搜索,再復(fù)制下fastq.gz文件的地址镣陕,或者可以去ENA的ftp地址ftp.sra.ebi.ac.uk搜索谴餐,注意,是ftp呆抑,不是fasp岂嗓!記下鏈接地址,就可以下載了:

 ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR949/SRR949627/SRR949627_1.fastq.gz ~/biostar/aspera/

一般來說鹊碍,EBI的sra文件前面的地址也都是一樣的vol1/fastq/...厌殉,那么寫腳本批量下載也就不難了食绿!

三、國(guó)內(nèi)下載遇到最多的報(bào)錯(cuò)Failed to open TCP connection for SSH, exiting. Session Stop (Error: Failed to open TCP connection for SSH)

考慮到大家經(jīng)常公罕,留言咨詢這個(gè)報(bào)錯(cuò)器紧;索性補(bǔ)充更新一下解決辦法。

解決辦法如下:

ascp: Failed to open TCP connection for SSH, exiting.

Session Stop (Error: Failed to open TCP connection for SSH)

官網(wǎng)給出的解決辦法是:https://support.asperasoft.com/hc/en-us/articles/216126918-Error-44-UDP-session-initiation-fatal-error

On many Linux systems the default firewall can be configured with iptables. You will have to allow all incoming and outgoing traffic on UDP port 33001 (or whatever your Aspera UDP port is), which you can do with the following commands:

使用下面這兩個(gè)命令(但需要管理員權(quán)限)

# iptables -I INPUT -p tcp --dport 33001 -j ACCEPT
# iptables -I OUTPUT -p tcp --dport 33001 -j ACCEPT

參考
Aspera下載SRA文件 - weixin_34375251的博客 - CSDN博客 https://blog.csdn.net/weixin_34375251/article/details/88288453

使用aspera下載.fastq.gz和.sra數(shù)據(jù) - 高錦的博客 - CSDN博客 https://blog.csdn.net/herokoking/article/details/78890567

用Aspera connect從NCBI上下載SRA格式數(shù)據(jù) - Keep Learning - CSDN博客 https://blog.csdn.net/xubo245/article/details/50513201

nohup和&后臺(tái)運(yùn)行楼眷,進(jìn)程查看及終止 - 彌塵 - 博客園 https://www.cnblogs.com/baby123/p/6477429.html

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末铲汪,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子罐柳,更是在濱河造成了極大的恐慌掌腰,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,126評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件张吉,死亡現(xiàn)場(chǎng)離奇詭異齿梁,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)芦拿,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,254評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門士飒,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人蔗崎,你說我怎么就攤上這事酵幕。” “怎么了缓苛?”我有些...
    開封第一講書人閱讀 152,445評(píng)論 0 341
  • 文/不壞的土叔 我叫張陵芳撒,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我未桥,道長(zhǎng)笔刹,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 55,185評(píng)論 1 278
  • 正文 為了忘掉前任冬耿,我火速辦了婚禮舌菜,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘亦镶。我一直安慰自己日月,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,178評(píng)論 5 371
  • 文/花漫 我一把揭開白布缤骨。 她就那樣靜靜地躺著爱咬,像睡著了一般。 火紅的嫁衣襯著肌膚如雪绊起。 梳的紋絲不亂的頭發(fā)上精拟,一...
    開封第一講書人閱讀 48,970評(píng)論 1 284
  • 那天,我揣著相機(jī)與錄音,去河邊找鬼蜂绎。 笑死栅表,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的荡碾。 我是一名探鬼主播谨读,決...
    沈念sama閱讀 38,276評(píng)論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼坛吁!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起铐尚,我...
    開封第一講書人閱讀 36,927評(píng)論 0 259
  • 序言:老撾萬榮一對(duì)情侶失蹤拨脉,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后宣增,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體玫膀,經(jīng)...
    沈念sama閱讀 43,400評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,883評(píng)論 2 323
  • 正文 我和宋清朗相戀三年爹脾,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了帖旨。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 37,997評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡灵妨,死狀恐怖解阅,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情泌霍,我是刑警寧澤货抄,帶...
    沈念sama閱讀 33,646評(píng)論 4 322
  • 正文 年R本政府宣布,位于F島的核電站朱转,受9級(jí)特大地震影響蟹地,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜藤为,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,213評(píng)論 3 307
  • 文/蒙蒙 一怪与、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧缅疟,春花似錦分别、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,204評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至纫雁,卻和暖如春煌往,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,423評(píng)論 1 260
  • 我被黑心中介騙來泰國(guó)打工刽脖, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留羞海,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 45,423評(píng)論 2 352
  • 正文 我出身青樓曲管,卻偏偏與公主長(zhǎng)得像却邓,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子院水,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,722評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容