2021-2-3-利用anaconda+prefetch+aspera從NCBI的SRA數(shù)據(jù)庫中下載原始測序數(shù)據(jù)

記錄下下載過程裙犹,為自己和后人避坑。

1.Conda連接不上鏡像源問題

首先是anaconda安裝軟件或創(chuàng)建環(huán)境時遇到的問題拿穴。即使換完清華源和其他鏡像源以后依舊報錯削彬。

CondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://mirrors.tuna.tsi

嘗試了很多方法:換源全庸,刪除.condarc中的default等,都不行融痛。最后嘗試了鏡像源中壶笼,將https改為為http! 成功了。奇怪的是另一臺服務(wù)器我用的conda完全一樣的配置雁刷,用https也可以覆劈。這種事情很神奇,也有可能就是網(wǎng)絡(luò)的問題安券。

具體可參考:
Anaconda建立新的環(huán)境墩崩,出現(xiàn)CondaHTTPError: HTTP 000 CONNECTION FAILED for url ...... 解決過程
Anaconda3-更換為清華源后依舊報錯CondaHTTPError: HTTP 000 CONNECTION FAILED

2. aspera不能再獨立使用

aspera下載速度很快,網(wǎng)上很多教程統(tǒng)統(tǒng)用不了侯勉,原因就是ncbi的ftp中的sra/sra-instant已經(jīng)移除了。所以铝阐,當(dāng)你看到類似的教程:ascp -v -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -T -l 200m anonftp@ftp.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/SRR/SRR949/SRR949627/SRR949627.sra ~/data/址貌,請忽略它。

我嘗試了其他幾個ftp站點徘键,也找不到sra-instant地址练对。

3.使用prefetch搭配aspera

退而求其次的方法,就是用prefetch吹害。但需要注意prefetch和aspera的版本螟凭,最新版本的prefetch用不了aspera。

我這里安裝sratools 2.9.6 它呀,可以源碼下載螺男,解壓即可(已編譯)。也可以用conda指定版本:

conda install sra-tools=2.9.6 -y

aspera的安裝纵穿,同樣可源碼下隧,下載地址:IBM Aspera Connect
我這里選擇3.10.1.0,解壓sh運(yùn)行即可谓媒,默認(rèn)安裝在家目錄以隱藏目錄存在:

image.png

image.png

也可用anaconda安裝:

conda install -c hcc aspera-cli

#可指定版本
conda install -c hcc aspera-cli=3.7.7

4. prefetch下載方法

安裝好以后淆院,直接用prefetch下載單個sra文件,或者下載文件列表句惯。最好指定下載目錄土辩,prefetch默認(rèn)下載在home/user/ncbi/public/sra中(會自動新建)支救,home目錄空間太小,不建議拷淘。

#單個sra
prefetch SRR8956151 -O ./

# 批量
prefetch --option-file SRR_Acc_List.txt -O ./

SRR_Acc_List.txt文件的尋找也比較麻煩:


image.png

prefetch會自動調(diào)用aspera的ascp各墨。


image.png

下載的速度還是很快的,一個文件一分鐘左右:


image.png

雖然prefetch會自動調(diào)用ascp辕棚,但由于網(wǎng)速等原因欲主,有時也會出現(xiàn)timeout,特別是大文件下載逝嚎,出現(xiàn)類似process failed while waiting process - ascp failed with 1的錯誤扁瓢,這時最好是指定ascp:

prefetch -t ascp -a "/home/user/.aspera/connect/bin/ascp|/home/user/.aspera/connect/etc/asperaweb_id_dsa.openssh" --option-file SRR_Acc_List.txt -O ./

http://www.reibang.com/p/d1abdced8bcd
http://www.reibang.com/p/ee1119a4e79d
http://www.reibang.com/p/709924001d5d
http://www.reibang.com/p/f16ed4c79739

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市补君,隨后出現(xiàn)的幾起案子引几,更是在濱河造成了極大的恐慌,老刑警劉巖挽铁,帶你破解...
    沈念sama閱讀 206,126評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件伟桅,死亡現(xiàn)場離奇詭異,居然都是意外死亡叽掘,警方通過查閱死者的電腦和手機(jī)楣铁,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,254評論 2 382
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來更扁,“玉大人盖腕,你說我怎么就攤上這事∨ň担” “怎么了溃列?”我有些...
    開封第一講書人閱讀 152,445評論 0 341
  • 文/不壞的土叔 我叫張陵,是天一觀的道長膛薛。 經(jīng)常有香客問我听隐,道長,這世上最難降的妖魔是什么哄啄? 我笑而不...
    開封第一講書人閱讀 55,185評論 1 278
  • 正文 為了忘掉前任雅任,我火速辦了婚禮,結(jié)果婚禮上增淹,老公的妹妹穿的比我還像新娘椿访。我一直安慰自己,他們只是感情好虑润,可當(dāng)我...
    茶點故事閱讀 64,178評論 5 371
  • 文/花漫 我一把揭開白布成玫。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪哭当。 梳的紋絲不亂的頭發(fā)上猪腕,一...
    開封第一講書人閱讀 48,970評論 1 284
  • 那天,我揣著相機(jī)與錄音钦勘,去河邊找鬼陋葡。 笑死,一個胖子當(dāng)著我的面吹牛彻采,可吹牛的內(nèi)容都是我干的腐缤。 我是一名探鬼主播,決...
    沈念sama閱讀 38,276評論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼肛响,長吁一口氣:“原來是場噩夢啊……” “哼岭粤!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起特笋,我...
    開封第一講書人閱讀 36,927評論 0 259
  • 序言:老撾萬榮一對情侶失蹤剃浇,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后猎物,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體虎囚,經(jīng)...
    沈念sama閱讀 43,400評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 35,883評論 2 323
  • 正文 我和宋清朗相戀三年蔫磨,在試婚紗的時候發(fā)現(xiàn)自己被綠了淘讥。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 37,997評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡堤如,死狀恐怖适揉,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情煤惩,我是刑警寧澤,帶...
    沈念sama閱讀 33,646評論 4 322
  • 正文 年R本政府宣布炼邀,位于F島的核電站魄揉,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏拭宁。R本人自食惡果不足惜洛退,卻給世界環(huán)境...
    茶點故事閱讀 39,213評論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望杰标。 院中可真熱鬧兵怯,春花似錦、人聲如沸腔剂。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,204評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至袜漩,卻和暖如春绪爸,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背宙攻。 一陣腳步聲響...
    開封第一講書人閱讀 31,423評論 1 260
  • 我被黑心中介騙來泰國打工奠货, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人座掘。 一個月前我還...
    沈念sama閱讀 45,423評論 2 352
  • 正文 我出身青樓递惋,卻偏偏與公主長得像,于是被迫代替她去往敵國和親溢陪。 傳聞我的和親對象是個殘疾皇子萍虽,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 42,722評論 2 345

推薦閱讀更多精彩內(nèi)容