Aspera
Linux
安裝
conda 安裝
在Linux上安裝Aspera，方便的還是直接通過conda進(jìn)行安裝(已經(jīng)安裝了Anaconda）铸抑，在需要安裝的環(huán)境下輸入以下命令進(jìn)行安裝：
$ conda install -c hcc aspera-cli -y
查看是否安裝成功
# 有輸出幫助文檔則安裝成功
$ ascp -h
查找密鑰（下面使用會(huì)用到）
$ which ascp # 輸出下面內(nèi)容，不同環(huán)境不一樣，根據(jù)自己的來
~/software/miniconda3/envs/test/bin/ascp
把bin及bin后面的內(nèi)容換成etc/asperaweb_id_dsa.openssh
可以用ls驗(yàn)證一下是否存在。
$ ls ~/software/miniconda3/envs/test/etc/asperaweb_id_dsa.openssh
/home/wwwdj/software/miniconda3/envs/test/etc/asperaweb_id_dsa.openssh
自己安裝
(conda 安裝好了可以跳過了~)
若是要自己去官網(wǎng)下載軟件來安裝的話炒刁，這是下載命令，鏈接：
https://ak-delivery04-mul.dhe.ibm.com/sar/CMA/OSA/09cne/0/ibm-aspera-connect-3.11.0.5-linux-g2.12-64.tar.gz
上面命令里的下載鏈接是當(dāng)前最新版本3.11的誊稚，這篇文章發(fā)布后翔始，可能會(huì)出現(xiàn)新版本。若需要可去官網(wǎng)下載里伯。
下面這個(gè)鏈接包含了各個(gè)平臺(tái)的軟件包城瞎，不過可能需要注冊(cè)賬號(hào)登錄才能獲取下載鏈接。
https://www.ibm.com/support/fixcentral/swg/selectFixes?parent=ibm~Other%20software&product=ibm/Other+software/IBM+Aspera+Connect&release=All&platform=All&function=all
以上面那個(gè)3.11版本的為例疾瓮。
下載
$ wget https://ak-delivery04-mul.dhe.ibm.com/sar/CMA/OSA/09cne/0/ibm-aspera-connect-3.11.0.5-linux-g2.12-64.tar.gz
解壓
$ tar -zxvf ibm-aspera-connect-3.11.0.5-linux-g2.12-64.tar.gz
安裝
## sh文件上一步解壓生成的
$ ./ibm-aspera-connect-3.11.0.5-linux-g2.12-64.sh
設(shè)置環(huán)境變量
# 把USERNAME 換成自己的linux 賬戶名
$ echo """export PATH=\"/home/USERNAME/.aspera/connect/bin:\$PATH\" """ >> ~/.bashrc
使之立即生效
$ source ~/.bashrc
查看是否安裝成功
# 有輸出幫助文檔則安裝成功
$ ascp -h
基本語(yǔ)法
基本語(yǔ)法如下脖镀，[OPTION] 是參數(shù)設(shè)置，SRC 是遠(yuǎn)程資源路徑爷贫，DEST是文件保存路徑认然。若SRC為多個(gè)文件补憾，則保存在DEST目錄下漫萄。
ascp [OPTION] SRC... DEST
以一個(gè)例子作為說明
$ ascp -l 100M -P 33001 -QT -k 2 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR576/004/SRR5760814/SRR5760814.fastq.gz ./test.fq.gz
| 參數(shù) | 說明 |
|---|---|
| -l | 最大傳輸速率 |
| -i | 密鑰地址卷员，自己安裝都是：~/.aspera/connect/etc/asperaweb_id_dsa.openssh ，conda安裝參照上面內(nèi)容 |
| -P | -P33001腾务，分開合起作用都是一樣毕骡。設(shè)成其他可能會(huì)要輸密碼。Set the TCP port used for fasp session initiation. (Default: 22) |
| -Q | Enable fair transfer policy |
| -k | -k2, 分開合起作用都是一樣,異常中斷可以重啟岩瘦。Enables fatal transfer restarts. |
| -T | 禁止加密未巫。Disable encryption for maximum throughput. |
| SRC | 位置參數(shù)，源文件地址启昧，類似era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR576/004/SRR5760814/SRR5760814.fastq.gz |
| DEST | ./test.fq.gz叙凡， 保存地址 |
參數(shù)啥的，我也沒整明白密末。上面參數(shù)及說明參考ebi官網(wǎng) https://www.ebi.ac.uk/ega/about/ftp-aspera握爷，
更多的參數(shù)設(shè)置參考 https://download.asperasoft.com/download/docs/ascp/2.7/html/index.html
EBI數(shù)據(jù)下載
之前aspera是可以下載DDBJ,EBI,NCBI三大數(shù)據(jù)庫(kù)的數(shù)據(jù)的。不過現(xiàn)在严里，由于NCBI數(shù)據(jù)遷移至云服務(wù)器了新啼，可能不太好使了。DDBJ也是可以的刹碾，但不是國(guó)內(nèi)似乎用ddbj的人不怎么用燥撞，不過它也不太好用。
三大數(shù)據(jù)庫(kù)迷帜，若使用apera下載數(shù)據(jù)的話物舒，現(xiàn)在應(yīng)是ebi的最好使，它也直接給了apera下載地址戏锹。
下面以PRJNA392105(SRP110599 )項(xiàng)目數(shù)據(jù)為例冠胯，演示下載。
ebi 的更直觀一些景用，直接打開網(wǎng)址涵叮，輸入框輸入Accession號(hào)就能很容易查到數(shù)據(jù)了，然后相關(guān)信息也很全伞插，下載鏈接直接就給了割粮。
瀏覽器輸入以下url就可以跳到相應(yīng)頁(yè)面（手動(dòng)在ebi官網(wǎng)輸入框輸入PRJNA392105查詢也可以~）
https://www.ebi.ac.uk/ena/browser/view/PRJNA392105
打開頁(yè)面后，把網(wǎng)頁(yè)往下滑一下能看到一下頁(yè)面（可能剛打開媚污，還沒加載完舀瓢，得等一會(huì)兒才能看到）點(diǎn)Download All可以把所有樣本的信息給下載了。方便用于批量下載耗美。
滑動(dòng)下面的滑動(dòng)條京髓，能看到FASTQ Aspera航缀，這就是aspera下載鏈接。若沒有看到堰怨，可點(diǎn)擊右上角的倒三角圖樣芥玉，把fastq_aspera勾選了。其他的信息按自己要求也可以勾選备图。
這里就以單個(gè)文件為例演示下載灿巧。
這是上面圖片看到第一個(gè)aspera下載鏈接。
# ：前為服務(wù)器地址揽涮，：后為資源地址
fasp.sra.ebi.ac.uk:/vol1/fastq/SRR576/002/SRR5760812/SRR5760812.fastq.gz
構(gòu)建下載命令時(shí)抠藕，需要在下載鏈接前加上ebi 給的公共賬戶名era-fasp（好像是）
如下：
$ ascp -l 100M -P 33001 -QT -k 2 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR576/002/SRR5760812/SRR5760812.fastq.gz ./test.fq.gz
取別名
上面的命名，有些參數(shù)蒋困，基本每次都不會(huì)變動(dòng)的盾似。而每次都要輸一遍，又很麻煩雪标，因此可以用alias固定幾個(gè)參數(shù)零院，取一個(gè)別名。
運(yùn)行以下命令
$ echo "alias ascpp=\"ascp -QT -P33001 -k2 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh\"" >> ~/.bashrc
$ source ~/.bashrc
以上命令汰聋，利用alias 給ascp添加了幾個(gè)參數(shù)（可自行設(shè)定门粪，這里因?yàn)?l 可能會(huì)經(jīng)常變動(dòng)，沒加上它）烹困，賦給了新的命令 ascpp玄妈，原來的ascp也是可以用的。
再次下載數(shù)據(jù)髓梅，命令就簡(jiǎn)短許多了：
$ ascpp -l 100M era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR576/002/SRR5760812/SRR5760812.fastq.gz ./test.fq.gz
test.fq.gz 100% 1066MB 97.2Mb/s 03:57
Completed: 1092464K bytes transferred in 237 seconds
(37695K bits/sec), in 1 file.
DDBJ數(shù)據(jù)下載
DDBJ雖然不太好用拟蜻，而且現(xiàn)在也沒有提供fastq下載地址，不過可能也有人需要下載枯饿，這里簡(jiǎn)單說一下酝锅。
下面是一個(gè)下載測(cè)試
看起來下載速度還不錯(cuò)吧。
還是以上面的PRJNA392105(SRP110599 )為例奢方，打開ddbj數(shù)據(jù)查詢網(wǎng)頁(yè)
https://ddbj.nig.ac.jp/DRASearch/
在頁(yè)面
Accession后輸入SRP110599搔扁，輸入PRJNA392105查詢不到的。返回頁(yè)面如下
然后蟋字，按圖點(diǎn)擊操作(僅做演示稿蹲，隨意下載。)
得到鏈接后類似這樣
ftp://ftp.ddbj.nig.ac.jp/ddbj_database/dra/sralite/ByExp/litesra/SRX/SRX296/SRX2960632/SRR5760812/SRR5760812.sra
鏈接改一下變成下面這樣
anonftp@ascp.ddbj.nig.ac.jp:ddbj_database/dra/sralite/ByExp/litesra/SRX/SRX296/SRX2960632/SRR5760812/SRR5760812.sra
下載命令為：
$ ascpp -l 1000M anonftp@ascp.ddbj.nig.ac.jp:ddbj_database/dra/sralite/ByExp/litesra/SRX/SRX296/SRX2960632/SRR5760812/SRR5760812.sra ./test.sra
其他
aspera有的時(shí)候是挺快的…不過我感覺容易出問題?(?????)?
比如一開始下載很快啊鹊奖，下著下著網(wǎng)速就慢下來了苛聘。什么驗(yàn)證失敗啥的…
有時(shí)，當(dāng)驗(yàn)證失敗時(shí)，可嘗試換個(gè)網(wǎng)絡(luò)環(huán)境使用设哗。
(之前寫了個(gè)批量下載腳本下載…過了一晚上唱捣，第二天來看，發(fā)現(xiàn)沒下到幾個(gè)數(shù)據(jù)网梢。
人生苦短震缭，及時(shí)轉(zhuǎn)向…aspera不能用，就轉(zhuǎn)向迅雷,ftp下載吧??
參考
https://www.ebi.ac.uk/ega/about/ftp-aspera
https://download.asperasoft.com/download/docs/ascp/2.7/html/index.html
