記錄下下載過程裙犹,為自己和后人避坑。
1.Conda連接不上鏡像源問題
首先是anaconda安裝軟件或創(chuàng)建環(huán)境時遇到的問題拿穴。即使換完清華源和其他鏡像源以后依舊報錯削彬。
CondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://mirrors.tuna.tsi
嘗試了很多方法:換源全庸,刪除.condarc中的default等,都不行融痛。最后嘗試了鏡像源中壶笼,將https改為為http! 成功了。奇怪的是另一臺服務(wù)器我用的conda完全一樣的配置雁刷,用https也可以覆劈。這種事情很神奇,也有可能就是網(wǎng)絡(luò)的問題安券。
具體可參考:
Anaconda建立新的環(huán)境墩崩,出現(xiàn)CondaHTTPError: HTTP 000 CONNECTION FAILED for url ...... 解決過程
Anaconda3-更換為清華源后依舊報錯CondaHTTPError: HTTP 000 CONNECTION FAILED
2. aspera不能再獨立使用
aspera下載速度很快,網(wǎng)上很多教程統(tǒng)統(tǒng)用不了侯勉,原因就是ncbi的ftp中的sra/sra-instant
已經(jīng)移除了。所以铝阐,當(dāng)你看到類似的教程:ascp -v -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -T -l 200m anonftp@ftp.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/SRR/SRR949/SRR949627/SRR949627.sra ~/data/
址貌,請忽略它。
我嘗試了其他幾個ftp站點徘键,也找不到sra-instant地址练对。
3.使用prefetch搭配aspera
退而求其次的方法,就是用prefetch吹害。但需要注意prefetch和aspera的版本螟凭,最新版本的prefetch用不了aspera。
我這里安裝sratools 2.9.6 它呀,可以源碼下載螺男,解壓即可(已編譯)。也可以用conda指定版本:
conda install sra-tools=2.9.6 -y
aspera的安裝纵穿,同樣可源碼下隧,下載地址:IBM Aspera Connect
我這里選擇3.10.1.0,解壓sh運(yùn)行即可谓媒,默認(rèn)安裝在家目錄以隱藏目錄存在:
也可用anaconda安裝:
conda install -c hcc aspera-cli
#可指定版本
conda install -c hcc aspera-cli=3.7.7
4. prefetch下載方法
安裝好以后淆院,直接用prefetch下載單個sra文件,或者下載文件列表句惯。最好指定下載目錄土辩,prefetch默認(rèn)下載在home/user/ncbi/public/sra中(會自動新建)支救,home目錄空間太小,不建議拷淘。
#單個sra
prefetch SRR8956151 -O ./
# 批量
prefetch --option-file SRR_Acc_List.txt -O ./
SRR_Acc_List.txt文件的尋找也比較麻煩:
prefetch會自動調(diào)用aspera的ascp各墨。
下載的速度還是很快的,一個文件一分鐘左右:
雖然prefetch會自動調(diào)用ascp辕棚,但由于網(wǎng)速等原因欲主,有時也會出現(xiàn)timeout,特別是大文件下載逝嚎,出現(xiàn)類似process failed while waiting process - ascp failed with 1
的錯誤扁瓢,這時最好是指定ascp:
prefetch -t ascp -a "/home/user/.aspera/connect/bin/ascp|/home/user/.aspera/connect/etc/asperaweb_id_dsa.openssh" --option-file SRR_Acc_List.txt -O ./
http://www.reibang.com/p/d1abdced8bcd
http://www.reibang.com/p/ee1119a4e79d
http://www.reibang.com/p/709924001d5d
http://www.reibang.com/p/f16ed4c79739