比較悲催的是現(xiàn)在下不了榔组,查了很多沒有找到解決辦法
ascp: Failed to open TCP connection for SSH, exiting.
Session Stop (Error: Failed to open TCP connection for SSH)
加上一個(gè)端口參數(shù) -P 33001熙尉,貌似可以下載了(今天2019.5.23晚上在摸索下)
一、下載安裝Aspera Connect
這兩天學(xué)習(xí)生信技能樹RNA-seq和scRNA-seq,直接下載sra網(wǎng)速太慢搓扯,就找了一下下載方法检痰。
Linux系統(tǒng)下的Aspera Connect安裝(Windows下的Aspera Connect安裝參考)。
查看最新版本的Aspera - High-speed file transfer software - aspera connect https://downloads.asperasoft.com/en/downloads/8?list
1. 下載
mkdir biosoft && cd biosoft
nohup wget http://download.asperasoft.com/download/sw/connect/3.7.4/aspera-connect-3.7.4.147727-linux-64.tar.gz &
tar zxvf aspera-connect-3.7.4.147727-linux-64.tar.gz
2. 安裝
bash aspera-connect-3.7.4.147727-linux-64.sh
3. 查看是否有.aspera文件夾
cd # 去根目錄
ls -a # 如果看到.aspera文件夾锨推,代表安裝成功
4. 永久添加環(huán)境變量
echo 'export PATH=~/.aspera/connect/bin:$PATH' >> ~/.bashrc
source ~/.bashrc
5. 查看幫助文檔
ascp --help
二铅歼、下載sra數(shù)據(jù)
Aspera用法如下:
Usage: ascp [參數(shù)] 目標(biāo)文件 保存路徑
-v verbose mode 嘮叨模式,能讓你實(shí)時(shí)知道程序在干啥换可,方便查錯(cuò)椎椰。有些作者的程序缺乏人性化,運(yùn)行之后沾鳄,只見光標(biāo)閃所踊,壓根不知道運(yùn)行到哪了
-T 取消加密授段,否則有時(shí)候數(shù)據(jù)下載不了
-i 提供私鑰文件的地址,不能少,地址一般是~/.aspera/connect/etc中的asperaweb_id_dsa.openssh文件
-l 設(shè)置最大傳輸速度碴裙,一般200m到500m,如果不設(shè)置走越,反而速度會(huì)比較低杏糙,可能有個(gè)較低的默認(rèn)值
-k 斷點(diǎn)續(xù)傳,一般設(shè)置為值1
-Q 一般加上它
-P 提供SSH port浆熔,端口一般是33001本辐,
SRA數(shù)據(jù)庫下載:首先記住,數(shù)據(jù)的存放地址是
ftp-private.ncbi.nlm.nih.gov
医增,SRA在Aspera的用戶名是anonftp
慎皱,下載舉例:
如果我想下載
SRR949627.sra
文件,首先我需要找到地址叶骨,去ncbi ftp-private或者ncbi faspftp茫多,一層層尋找,直至找到忽刽,然后復(fù)制鏈接地址天揖,就可以開始下載了:
一般來說,NCBI的sra文件前面的地址都是一樣的/sra/sra-instant/reads/ByRun/sra/SRR/...跪帝,那么寫腳本批量下載也就不難了今膊!
Step 1:建立sra文件夾保存下載序列
mkdir sra && cd sra
Step 2:下載SRA文件到sra文件夾
ascp -T -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -l 200m anonftp@ftp-private.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/SRR/SRR620/SRR6208854/SRR6208854.sra ~/sra/
ascp -v -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -T -l 200m anonftp@ftp-private.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/SRR/SRR949/SRR949627/SRR949627.sra ~/biostar/aspera/
Aspera批量下載SRA文件
很多時(shí)候需要同時(shí)下載多個(gè)SRA文件,ascp命令提供參數(shù)--file-list伞剑,用于批量下載SRA文件斑唬。
Step 1:建立SRA文件路徑列表文件sra_list.txt
nano ~/sra/sra_list.txt
輸入以下兩行文本:
/sra/sra-instant/reads/ByRun/sra/SRR/SRR623/SRR6232298/SRR6232298.sra
/sra/sra-instant/reads/ByRun/sra/SRR/SRR623/SRR6232299/SRR6232299.sra
#按Ctrl+O,Ctrl+X保存退出
Step 2:批量下載sra_list.txt列表中的文件
ascp -T -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -l 200m --mode recv --host ftp-private.ncbi.nlm.nih.gov --user anonftp --file-list ~/sra/sra_list.txt ~/sra/
100s下載了近700M文件,平均速度超過60M/s
NA數(shù)據(jù)庫下載:這里和上面不同黎泣,數(shù)據(jù)的存放地址是fasp.sra.ebi.ac.uk
恕刘,ENA在Aspera的用戶名是era-fasp
,下載舉例:
同樣聘裁,我還是下載
SRR949627
雪营,方便的是ENA中可以直接下載fastq.gz
文件,不用再從sra文件慢吞吞的轉(zhuǎn)換了衡便,那么地址呢献起,可以去ENA搜索,再復(fù)制下fastq.gz文件的地址镣陕,或者可以去ENA的ftp地址ftp.sra.ebi.ac.uk
搜索谴餐,注意,是ftp呆抑,不是fasp岂嗓!記下鏈接地址,就可以下載了:
ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR949/SRR949627/SRR949627_1.fastq.gz ~/biostar/aspera/
一般來說鹊碍,EBI的sra文件前面的地址也都是一樣的vol1/fastq/...厌殉,那么寫腳本批量下載也就不難了食绿!
三、國(guó)內(nèi)下載遇到最多的報(bào)錯(cuò)Failed to open TCP connection for SSH, exiting. Session Stop (Error: Failed to open TCP connection for SSH)
考慮到大家經(jīng)常公罕,留言咨詢這個(gè)報(bào)錯(cuò)器紧;索性補(bǔ)充更新一下解決辦法。
解決辦法如下:
ascp: Failed to open TCP connection for SSH, exiting.
Session Stop (Error: Failed to open TCP connection for SSH)
官網(wǎng)給出的解決辦法是:https://support.asperasoft.com/hc/en-us/articles/216126918-Error-44-UDP-session-initiation-fatal-error
On many Linux systems the default firewall can be configured with iptables. You will have to allow all incoming and outgoing traffic on UDP port 33001 (or whatever your Aspera UDP port is), which you can do with the following commands:
使用下面這兩個(gè)命令(但需要管理員權(quán)限)
# iptables -I INPUT -p tcp --dport 33001 -j ACCEPT
# iptables -I OUTPUT -p tcp --dport 33001 -j ACCEPT
參考
Aspera下載SRA文件 - weixin_34375251的博客 - CSDN博客 https://blog.csdn.net/weixin_34375251/article/details/88288453
使用aspera下載.fastq.gz和.sra數(shù)據(jù) - 高錦的博客 - CSDN博客 https://blog.csdn.net/herokoking/article/details/78890567
用Aspera connect從NCBI上下載SRA格式數(shù)據(jù) - Keep Learning - CSDN博客 https://blog.csdn.net/xubo245/article/details/50513201
nohup和&后臺(tái)運(yùn)行楼眷,進(jìn)程查看及終止 - 彌塵 - 博客園 https://www.cnblogs.com/baby123/p/6477429.html