qiime2踩雷手記

前言

之前一直使用qiime1+usearch或者qiime1+vsearch垢村,因?yàn)橐恢焙茉嵅iime2里封閉的系統(tǒng)拓诸。但最近還是因?yàn)槟承┬枨笮枰锢锿馔獾目匆欢裶iime2的文檔胚宦,所以這里記錄一下一些我highlight的地方您旁。不能作為學(xué)習(xí)筆記但是可以作為一下踩雷的紀(jì)要吧

踩雷正文

  1. q2-dada2會(huì)自動(dòng)對(duì)pairend的序列進(jìn)行joind
  2. dual-indexed 和mix-orientation reads暫時(shí)無官方解決方案
  3. deblur需要基于質(zhì)量分?jǐn)?shù)的篩選驼鞭,而dada2不需要固耘。
  4. deblur和dada2都有內(nèi)在的chimera檢查基于豐度的篩選,所以不需要額外的filtering
  5. classifier作為assign taxonomy的分類器, vsearch和blast都基于consensus的比對(duì)和排名,剩下一個(gè)基于sklearn的機(jī)器學(xué)習(xí)的方法.
  6. q2-classifier并不好多少...甚至比用0.7置信區(qū)間的rdp的還差一點(diǎn).灌水文.Optimizing taxonomic classification of marker-gene amplicon sequences with QIIME 2’s q2-feature-classifier plugin
  7. Mockrobiota測(cè)試集
  8. 如果沒有EMP或者Casava格式的fastq的話,需要自己寫一個(gè)manifest格式的文件才能導(dǎo)入數(shù)據(jù).Fastq manifest PS: Casava格式就是形如@HWI-ST279:211:C0BFTACXX:3:1101:3469:2181 1:N:0:ACTTGA格式的fastq. @<instrument>:<run number>:<flowcell ID>:<lane>:<tile>:<x- pos>:<y-pos> <read>:<isfiltered>:<control number>:<index sequence> 文件名形如L2S357_15_L001_R1_001.fastq.gz
  1. the sample identifier,
  2. the barcode sequence or a barcode identifier,
  3. the lane number,
  4. the direction of the read (i.e. only R1, because these are single-end reads), and
  5. the set number.
  1. qiime2中篩選(filtering)提供的模式十分的多. filtering
  1. 篩選feature tables
    1. 完全基于頻率的篩選
    2. 基于conntigency的篩選(篩選只在少數(shù)樣本中出現(xiàn)的feature)
    3. 基于id的篩選
    4. 基于metadata的篩選(可以基于metadata寫sql語句https://en.wikipedia.org/wiki/Where_(SQL).......高級(jí))
    5. 基于taxonomy的篩選(可以只保留/去除某些genus/phylum的樣本)
  2. 篩選序列
  3. 篩選距離矩陣
  1. qiime2提供的Artifact API十分的粗糙垫挨,而且由于qiime2希望建立成一個(gè)方便擴(kuò)展的工具平臺(tái),所以它以一種十分奇怪的方式對(duì)plugin進(jìn)行import切威,所以也導(dǎo)致在python的IDE中去索引相關(guān)的模塊變得十分的艱難棉浸。
  2. qiime2中部分的數(shù)據(jù)鼓择,其實(shí)是臨時(shí)地儲(chǔ)存在臨時(shí)文件中的,例如序列文件(這里用rep有缆,代表序列為例)史隆。如果在python的環(huán)境中的話熔酷,可以通過rep._archiver.data_dir找到其臨時(shí)儲(chǔ)存的地方。
  3. qiime2-2019.1中看起來已經(jīng)完全拋棄了原來的OTU的流程了,因?yàn)樵谖臋n和源代碼中都很難找到相應(yīng)的部分煞烫,即使其中含有vsearch的denovo clustering的函數(shù),但是其實(shí)也只是為了sOTU服務(wù)朱监。

踩雷總結(jié)

為了更好和更靈活的使用qiime2,我寫了一個(gè)整合性的python流程腳本躺苦,儲(chǔ)存在我的github倉庫中,之后隨著qiime2的使用,以及更多的與原來OTU的比較欢嘿,應(yīng)該也會(huì)進(jìn)行不定時(shí)的更新,使用文檔暫時(shí)沒有炼蹦。。虑啤。但主入口就是main.py

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末狞山,一起剝皮案震驚了整個(gè)濱河市勘纯,隨后出現(xiàn)的幾起案子堤结,更是在濱河造成了極大的恐慌妒蔚,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,277評(píng)論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件翩剪,死亡現(xiàn)場(chǎng)離奇詭異乳怎,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)前弯,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,689評(píng)論 3 393
  • 文/潘曉璐 我一進(jìn)店門蚪缀,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人恕出,你說我怎么就攤上這事询枚。” “怎么了浙巫?”我有些...
    開封第一講書人閱讀 163,624評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵金蜀,是天一觀的道長。 經(jīng)常有香客問我的畴,道長廉油,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,356評(píng)論 1 293
  • 正文 為了忘掉前任苗傅,我火速辦了婚禮,結(jié)果婚禮上班巩,老公的妹妹穿的比我還像新娘渣慕。我一直安慰自己嘶炭,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,402評(píng)論 6 392
  • 文/花漫 我一把揭開白布逊桦。 她就那樣靜靜地躺著眨猎,像睡著了一般。 火紅的嫁衣襯著肌膚如雪强经。 梳的紋絲不亂的頭發(fā)上睡陪,一...
    開封第一講書人閱讀 51,292評(píng)論 1 301
  • 那天,我揣著相機(jī)與錄音匿情,去河邊找鬼兰迫。 笑死,一個(gè)胖子當(dāng)著我的面吹牛炬称,可吹牛的內(nèi)容都是我干的汁果。 我是一名探鬼主播,決...
    沈念sama閱讀 40,135評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼玲躯,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼据德!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起跷车,我...
    開封第一講書人閱讀 38,992評(píng)論 0 275
  • 序言:老撾萬榮一對(duì)情侶失蹤棘利,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后朽缴,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體善玫,經(jīng)...
    沈念sama閱讀 45,429評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,636評(píng)論 3 334
  • 正文 我和宋清朗相戀三年不铆,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了蝌焚。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,785評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡誓斥,死狀恐怖只洒,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情劳坑,我是刑警寧澤毕谴,帶...
    沈念sama閱讀 35,492評(píng)論 5 345
  • 正文 年R本政府宣布,位于F島的核電站距芬,受9級(jí)特大地震影響涝开,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜框仔,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,092評(píng)論 3 328
  • 文/蒙蒙 一舀武、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧离斩,春花似錦银舱、人聲如沸瘪匿。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,723評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽棋弥。三九已至,卻和暖如春诚欠,著一層夾襖步出監(jiān)牢的瞬間顽染,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,858評(píng)論 1 269
  • 我被黑心中介騙來泰國打工轰绵, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留粉寞,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 47,891評(píng)論 2 370
  • 正文 我出身青樓藏澳,卻偏偏與公主長得像仁锯,于是被迫代替她去往敵國和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子翔悠,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,713評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容