2021-02-14 ascp下載ENA數(shù)據(jù)庫(kù)文件

因?yàn)镋NA跟NCBI的SRA數(shù)據(jù)是互通的右锨,所以根據(jù)NCBI的SRP號(hào)就可以在ENA搜到相應(yīng)的數(shù)據(jù)。目前好像無(wú)法由于存儲(chǔ)位置的改變,無(wú)法直接用ASCP下載SRA數(shù)據(jù)庫(kù)孵坚,因此直接從ENA數(shù)據(jù)庫(kù)下載便是一個(gè)非常好的選擇徐矩。

1 aspera 下載

下載地址:https://www.ibm.com/aspera/connect/ 選擇linux版本
或者直接通過(guò)命令行下載

# 通過(guò)wget命令下載
wget https://d3gcli72yxqn2z.cloudfront.net/connect_latest/v4/bin/ibm-aspera-connect-3.11.1.58-linux-g2.12-64.tar.gz
#解壓縮
tar xzvf ibm-aspera-connect-3.11.1.58-linux-g2.12-64.tar.gz
#install aspera in server:
sh ibm-aspera-connect-3.8.1.161274-linux-g2.12-64.sh

#查看是否有.aspera文件夾  

cd         # 去家目錄 
ls -a     # 如果看到.aspera文件夾滞时,代表安裝成功

# 永久添加環(huán)境變量
echo 'export PATH=~/.aspera/connect/bin:$PATH' >> ~/.bashrc  && cp ~/.bashrc~/.bash_profile

source ~/.bashrc ~/.bash_profile

ascp的用法([在線(xiàn)文檔](https://www.ibm.com/support/knowledgecenter/SSXMX3_3.11/connect_user_linux/guide.html):

ascp [參數(shù)] 目標(biāo)文件 目標(biāo)地址

2. 獲得下載地址

ENA主頁(yè)ENA
搜索SRR號(hào),SRR1805951

圖片.png

點(diǎn)擊PRJNA275632
圖片.png

選擇自己要下載的runs滤灯,然后download report TSV坪稽,其中包含了fastq文件以及srr文件的下載地址
圖片.png

圖片.png

3. Aspera單個(gè)文件下載

linux中下載ENA數(shù)據(jù)方式如下:

ascp -QT -l 300m -P33001 -i path/to/aspera/installation/etc/asperaweb_id_dsa.openssh 
era-fasp@fasp.sra.ebi.ac.uk:vol1/fastq/ERR164/ERR164407/ERR164407.fastq.gz 
local/target/directory

所以我們獲得下載鏈接要改成相應(yīng)的形式;
一般Aspera安裝在家目錄鳞骤,則下載方式為

ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR103/008/SRR1039508/SRR1039508_1.fastq.gz .

注意最后面的.為下載至的目錄窒百。常用的參數(shù)包括:
-v verbose mode 嘮叨模式,能讓你實(shí)時(shí)知道程序在干啥弟孟,方便查錯(cuò)贝咙。
-T 取消加密,否則有時(shí)候數(shù)據(jù)下載不了
-i 提供私鑰文件的地址拂募,免密從SRA和ENA下載庭猩,不能少,地址一般是~/.aspera/connect/etc中的asperaweb_id_dsa.openssh文件
-l 設(shè)置最大傳輸速度陈症,一般200m到500m蔼水,如果不設(shè)置,反而速度會(huì)比較低录肯,可能有個(gè)較低的默認(rèn)值
-k 斷點(diǎn)續(xù)傳趴腋,一般設(shè)置為值1
-Q 用于自適應(yīng)流量控制,磁盤(pán)限制所需
-P 用于SSH身份驗(yàn)證的TCP端口论咏,一般是33001

4.批量下載(參考生新技能樹(shù)jimmy老師)使用ebi數(shù)據(jù)庫(kù)直接下載fastq測(cè)序數(shù)據(jù)的改進(jìn)腳本

獲取下載鏈接侯优炬,我們建立如下fq.txt文件
fasp.sra.ebi.ac.uk:/vol1/fastq/SRR103/008/SRR1039508/SRR1039508_1.fastq.gz
fasp.sra.ebi.ac.uk:/vol1/fastq/SRR103/009/SRR1039509/SRR1039509_1.fastq.gz
fasp.sra.ebi.ac.uk:/vol1/fastq/SRR103/000/SRR1039510/SRR1039510_1.fastq.gz
fasp.sra.ebi.ac.uk:/vol1/fastq/SRR103/008/SRR1039508/SRR1039508_2.fastq.gz
fasp.sra.ebi.ac.uk:/vol1/fastq/SRR103/009/SRR1039509/SRR1039509_2.fastq.gz
fasp.sra.ebi.ac.uk:/vol1/fastq/SRR103/000/SRR1039510/SRR1039510_2.fastq.gz
fasp.sra.ebi.ac.uk:/vol1/fastq/SRR103/004/SRR1039514/SRR1039514_1.fastq.gz
fasp.sra.ebi.ac.uk:/vol1/fastq/SRR103/004/SRR1039514/SRR1039514_2.fastq.gz
然后應(yīng)用如下的腳本

cat fq.txt |while read id 
do
ascp -QT -l 300m -P33001  \
-i ~/miniconda3/envs/download/etc/asperaweb_id_dsa.openssh   \
era-fasp@$id  .
done
# nohup bash step1-aspera.sh 1>step1-aspera.log 2>&1 &
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市厅贪,隨后出現(xiàn)的幾起案子蠢护,更是在濱河造成了極大的恐慌,老刑警劉巖养涮,帶你破解...
    沈念sama閱讀 216,372評(píng)論 6 498
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件葵硕,死亡現(xiàn)場(chǎng)離奇詭異眉抬,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)懈凹,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,368評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門(mén)蜀变,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人介评,你說(shuō)我怎么就攤上這事库北。” “怎么了威沫?”我有些...
    開(kāi)封第一講書(shū)人閱讀 162,415評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵贤惯,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我棒掠,道長(zhǎng)孵构,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,157評(píng)論 1 292
  • 正文 為了忘掉前任烟很,我火速辦了婚禮颈墅,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘雾袱。我一直安慰自己恤筛,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,171評(píng)論 6 388
  • 文/花漫 我一把揭開(kāi)白布芹橡。 她就那樣靜靜地躺著毒坛,像睡著了一般。 火紅的嫁衣襯著肌膚如雪林说。 梳的紋絲不亂的頭發(fā)上煎殷,一...
    開(kāi)封第一講書(shū)人閱讀 51,125評(píng)論 1 297
  • 那天,我揣著相機(jī)與錄音腿箩,去河邊找鬼豪直。 笑死,一個(gè)胖子當(dāng)著我的面吹牛珠移,可吹牛的內(nèi)容都是我干的弓乙。 我是一名探鬼主播,決...
    沈念sama閱讀 40,028評(píng)論 3 417
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼钧惧,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼暇韧!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起浓瞪,我...
    開(kāi)封第一講書(shū)人閱讀 38,887評(píng)論 0 274
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤锨咙,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后追逮,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體酪刀,經(jīng)...
    沈念sama閱讀 45,310評(píng)論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,533評(píng)論 2 332
  • 正文 我和宋清朗相戀三年钮孵,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了骂倘。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,690評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡巴席,死狀恐怖历涝,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情漾唉,我是刑警寧澤荧库,帶...
    沈念sama閱讀 35,411評(píng)論 5 343
  • 正文 年R本政府宣布,位于F島的核電站赵刑,受9級(jí)特大地震影響分衫,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜般此,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,004評(píng)論 3 325
  • 文/蒙蒙 一蚪战、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧铐懊,春花似錦邀桑、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,659評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至茅茂,卻和暖如春捏萍,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背玉吁。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,812評(píng)論 1 268
  • 我被黑心中介騙來(lái)泰國(guó)打工照弥, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人进副。 一個(gè)月前我還...
    沈念sama閱讀 47,693評(píng)論 2 368
  • 正文 我出身青樓这揣,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親影斑。 傳聞我的和親對(duì)象是個(gè)殘疾皇子给赞,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,577評(píng)論 2 353

推薦閱讀更多精彩內(nèi)容