都8102年了栽惶,還用fastq-dump迅脐,快換fasterq-dump吧

之前寫過一篇文章Fastq-dump: 一個神奇的軟件芍殖, 詳細介紹了fastq-dump的用法。
雖然fastq-dump參數很多谴蔑,而且一直被吐槽參數說明寫的太差豌骏,但是如果真的要用起來其實也就是一行代碼

fastq-dump --gzip --split-3 --defline-qual '+' --defline-seq '@$ac-$si/$ri' SRRXXXXX| SRRXXXX.sra
# 加上--gzip后需要時間進行文件壓縮

當然除了參數問題,還有一個讓人詬病的地方就是他只能單個線程隐锭,所以速度特別的慢窃躲。盡管相對于下游分析要分析好幾天而言,這點時間還能能等的钦睡。但是能快一點總是好的蒂窒,所以在2018年的6月份,sra-tools更新了一個新的sra解壓工具荞怒,fasterq-dump, a faster fastq-dump洒琢,它能利用臨時文件和多線程加速從SRA文件提取FASTQ。

fasterq-dump的用法和fastq-dump一樣褐桌,如下所示

fasterq-dump --split-3 SRR5318040.sra 

如上代碼運行時如果出現報錯 err: invalid accession 'SRR5318040.sra '衰抑,請改用如下代碼

fasterq-dump --split-3 ./SRR5318040 

注意,這個 ./ 非常重要荧嵌,這意味著我們使用的是下載到本地的sra數據停士。

此外還有建立了GitHub Wiki提供使用教程挖帘,參見https://github.com/ncbi/sra-tools/wiki/HowTo:-fasterq-dump

重點參數是-e|threads, 用于選擇使用多少線程進行運行恋技,默認是6個線程。 同時考慮到有些人容易著急逻族,還提供了-p選項用于顯示當前進度蜻底。

我用一個9G大小的SRA文件,分別以fastq-dumpfasterq-dump進行了測試聘鳞。

time fastq-dump --split-3 -O test SRR5318040.sra
# 558.76s user 41.36s system 101% cpu 9:51.82 total
time fasterq-dump --split-3 SRR5318040.sra -e 20 -o SRR5318040
# 582.70s user 121.06s system 1130% cpu 1:02.25 total

同樣的如果上面的fastqer-dump運行報錯薄辅,請把 SRR5318040.sra 改成 ./SRR5318040.

從用戶模式(user mode)來看, 兩者的總CPU使用時間都差不多是560秒,從內核模式來看(Kernel Mode)來看抠璃,fasterq-dump花了更多時間在調用底層硬件上站楚,例如分配內存地址。fastq-dump基本上穩(wěn)定在一個線程搏嗡,而fasterq-dump盡管指定了20個線程窿春,但平均只用了11.5個線程吧。

對于我們而言采盒,我們只要看最后的total部分旧乞,也就是實際花了多少時間。fastq-dump花了快10分鐘磅氨,而fasterq-dump只需要1分鐘尺栖,快了9倍多。

最后還有一點不足之處:輸出的fastq的ID目前暫時沒有選項可以調整烦租,需要自己寫個腳本解決延赌。

ID
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市叉橱,隨后出現的幾起案子挫以,更是在濱河造成了極大的恐慌,老刑警劉巖赏迟,帶你破解...
    沈念sama閱讀 206,126評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件屡贺,死亡現場離奇詭異,居然都是意外死亡锌杀,警方通過查閱死者的電腦和手機甩栈,發(fā)現死者居然都...
    沈念sama閱讀 88,254評論 2 382
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來糕再,“玉大人量没,你說我怎么就攤上這事⊥幌耄” “怎么了殴蹄?”我有些...
    開封第一講書人閱讀 152,445評論 0 341
  • 文/不壞的土叔 我叫張陵究抓,是天一觀的道長。 經常有香客問我袭灯,道長刺下,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 55,185評論 1 278
  • 正文 為了忘掉前任稽荧,我火速辦了婚禮橘茉,結果婚禮上,老公的妹妹穿的比我還像新娘姨丈。我一直安慰自己畅卓,他們只是感情好,可當我...
    茶點故事閱讀 64,178評論 5 371
  • 文/花漫 我一把揭開白布蟋恬。 她就那樣靜靜地躺著翁潘,像睡著了一般。 火紅的嫁衣襯著肌膚如雪歼争。 梳的紋絲不亂的頭發(fā)上拜马,一...
    開封第一講書人閱讀 48,970評論 1 284
  • 那天,我揣著相機與錄音矾飞,去河邊找鬼一膨。 笑死,一個胖子當著我的面吹牛洒沦,可吹牛的內容都是我干的豹绪。 我是一名探鬼主播,決...
    沈念sama閱讀 38,276評論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼申眼,長吁一口氣:“原來是場噩夢啊……” “哼瞒津!你這毒婦竟也來了?” 一聲冷哼從身側響起括尸,我...
    開封第一講書人閱讀 36,927評論 0 259
  • 序言:老撾萬榮一對情侶失蹤巷蚪,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后濒翻,有當地人在樹林里發(fā)現了一具尸體屁柏,經...
    沈念sama閱讀 43,400評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 35,883評論 2 323
  • 正文 我和宋清朗相戀三年有送,在試婚紗的時候發(fā)現自己被綠了淌喻。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 37,997評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡雀摘,死狀恐怖裸删,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情阵赠,我是刑警寧澤涯塔,帶...
    沈念sama閱讀 33,646評論 4 322
  • 正文 年R本政府宣布肌稻,位于F島的核電站,受9級特大地震影響匕荸,放射性物質發(fā)生泄漏爹谭。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,213評論 3 307
  • 文/蒙蒙 一每聪、第九天 我趴在偏房一處隱蔽的房頂上張望旦棉。 院中可真熱鬧,春花似錦药薯、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,204評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽脸候。三九已至穷娱,卻和暖如春运沦,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背携添。 一陣腳步聲響...
    開封第一講書人閱讀 31,423評論 1 260
  • 我被黑心中介騙來泰國打工嫁盲, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人烈掠。 一個月前我還...
    沈念sama閱讀 45,423評論 2 352
  • 正文 我出身青樓羞秤,卻偏偏與公主長得像左敌,于是被迫代替她去往敵國和親瘾蛋。 傳聞我的和親對象是個殘疾皇子矫限,可洞房花燭夜當晚...
    茶點故事閱讀 42,722評論 2 345

推薦閱讀更多精彩內容

  • NCBI-SRA和EBI-ENA數據庫 SRA數據庫: Sequence Read Archive:隸屬NCBI ...
    dulunar閱讀 31,074評論 6 74
  • Android 自定義View的各種姿勢1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 171,498評論 25 707
  • 用兩張圖告訴你哺哼,為什么你的 App 會卡頓? - Android - 掘金 Cover 有什么料? 從這篇文章中你...
    hw1212閱讀 12,693評論 2 59
  • 經常會遇到奇葩顧客叼风,真是又可氣又無語叭《咬扇! 因為我們是銷售電子產品的,所賣產品的價格都比較高懈贺,端午節(jié)放假三天经窖,遇到三...
    靜怡和然閱讀 1,122評論 19 17
  • 《親子日記》第六天 3月23日 星期五 晴 昨天晚上二寶睡的早,今天早早起床了画侣,我被鬧鐘驚醒,起來...
    程文穎閱讀 167評論 0 0