1122生信技能樹 致敬賣萌哥
016 創(chuàng)建獨(dú)立環(huán)境
Conda想要安裝軟件女仰,需要經(jīng)過安裝Conda、conda添加頻道何暮、conda創(chuàng)建獨(dú)立的環(huán)境(所有裝在base里的包在整個小環(huán)境都能使用俄精,為避免占內(nèi)存避免串用方便管理改橘,所以建議設(shè)置獨(dú)立的環(huán)境),最后才是軟件安裝
環(huán)境創(chuàng)建部分主要包括:
conda create -n rnaseq(創(chuàng)建名為rnaseq的小環(huán)境)
conda activate rnaseq (啟動名為rnaseq的小環(huán)境)
conda deactivate(退出這個小環(huán)境)
conda env list或 conda info --env(用于查看存在的小環(huán)境)----對于環(huán)境的啟動與退出可以觀察命令提示符的首個字符谦趣,看看是否是環(huán)境名疲吸,若是,則表明環(huán)境啟動前鹅;若不是摘悴,則表明退出環(huán)境。
conda remove-n rnaseq --all(刪除已創(chuàng)建的小環(huán)境及安裝的包.這個刪除不用rm舰绘,用remove)
conda create -n Python2 ?利用conda創(chuàng)建一個名為Python2的環(huán)境
conda create -n Py2 --clonePython2 ?創(chuàng)建一個名為Py2的環(huán)境替代Python2(克隆--復(fù)制內(nèi)部東西但是可以更改名字)
conda remove -n Py2 -all利用conda刪除一個名為Py2的環(huán)境(先克隆蹂喻,再刪,方能完成重命名)
?
?
017 如何安裝軟件
首先你得裝什么軟件(可以參考師兄師姐以及發(fā)表文章裝的啥)
如轉(zhuǎn)錄組常用軟件(質(zhì)量控制fastqc multiqc等 比對定量 bwa hista2等 ??無參組裝Trinity等 等)
哪些軟件可以用conda裝呢捂寿? ?(三種查詢方法 法1:anaconda與bioconda網(wǎng)站查詢法2:conda search *** 服務(wù)器或者終端上裝(比較慢) ?3.百度搜索---關(guān)鍵詞+conda )
注意光標(biāo)變成全綠才表明可以輸入(別傻傻的在這上面浪費(fèi)時間)
cat ~/.condarc(查看conda頻道)注意默認(rèn)里頻道設(shè)置為清華鏡像叉橱,這樣快(不是在國外)
如何去除默認(rèn)設(shè)置呢?vim ~/.condarc (刪除的目的是讓其不去默認(rèn)里照)
安裝方式可以查詢相應(yīng)網(wǎng)站者蠕。conda install -e bioconda fastqc(用第三百度的方式搜索不好搜窃祝,用bioconda與anaconda的網(wǎng)址吧。 https://bioconda.github.io/?????https://anaconda.org/search(利用anaconda的網(wǎng)頁去找會更方便些))
注意安裝軟件一定要在自身相應(yīng)的小環(huán)境中安裝踱侣。(方便管理與不占資源)粪小,運(yùn)行項(xiàng)目最好也在相應(yīng)小環(huán)境
總結(jié)----關(guān)于軟件安裝
去哪裝(三個方法:主要用賣萌哥老師提供的anaconda search網(wǎng)址去搜,比較方便)
安裝在哪(安裝在相應(yīng)項(xiàng)目的小環(huán)境中)
安裝軟件過程:
[if !supportLists]1.?[endif]看看有哪些可以安裝的版本conda search fastqc
[if !supportLists]2.?[endif]安裝指定版本的軟件conda install fastqc=0.11.7
[if !supportLists]3.?[endif]添加-y參數(shù)跳過確認(rèn)步驟(即我確信我裝) ?conda install -y fastqc=0.11.7
查看安裝了啥軟件
[if !supportLists]1.?[endif]conda list
[if !supportLists]2.?[endif]查看復(fù)合正則表達(dá)式的軟件conda list fastqc*
[if !supportLists]3.?[endif]查看指定環(huán)境的軟件conda list -n rnaseq(查看列表軟件在名為rnaseq的環(huán)境里)
刪除安裝的軟件
[if !supportLists]1.?[endif]conda remove fastqc
[if !supportLists]2.?[endif]Conda remove -n rnaseq fastqc ??(刪除名為rnaseq環(huán)境下的fastqc抡句,加了-y參數(shù)的話可以直接刪除)
升級軟件
[if !supportLists]1.?[endif]conda update fastqc
[if !supportLists]2.?[endif]conda update conda (升級conda本身探膊,只要不影響使用,建議先不用升級待榔,4.8之前可以升級逞壁,因?yàn)?.8之后conda有一些改變)
[if !supportLists]3.?[endif]conda install python=2.7 (指定降級為舊版本,有趣)
018 ?conda安裝報(bào)錯解決(賣萌哥老師真的貼心)
[if !supportLists]1.?[endif]htp000網(wǎng)絡(luò)問題
[if !supportLists]2.?[endif]conda小環(huán)境不用額外添加channel锐锣,默認(rèn)設(shè)置的所有小環(huán)境都能用腌闯。但是可以進(jìn)行小環(huán)境的個性化設(shè)置,不同小環(huán)境利用不同的channel雕憔。
[if !supportLists]3.?[endif]怎么刪除頻道姿骏,方法有二
法-:先查看頻道 cat ~/.condarcvim ~/.condarc(刪除(家目錄下的點(diǎn)condarc文件,點(diǎn)代表隱藏文件-注意)啟動斤彼,啟動之后需要利用光標(biāo)選定需要刪除的頻道分瘦,同時按兩下d進(jìn)行刪除)蘸泻,輸入wd退出。
法二:直接刪除整個頻道嘲玫,然后一個一個加進(jìn)去
[if !supportLists]4.?[endif]在小環(huán)境安裝的軟件只能用于小環(huán)境悦施,退出小環(huán)境便不能使用了∪ネ牛可以在小環(huán)境里加小環(huán)境抡诞。
[if !supportLists]5.?[endif]利用conda要激活conda,退出要conda deactivate ,進(jìn)入小環(huán)境
[if !supportLists]6.?[endif]調(diào)用Xmaneger不行
[if !supportLists]7.?[endif]Pip(影像組學(xué)的軟件安裝)報(bào)錯可能式版本問題渗勘;mamba安裝之后可以加快conda的運(yùn)行
019 conda的進(jìn)階技巧
mamba的使用
版本控制和遷移
本地安裝
一些零散的奇怪知識
用mamba軟件安裝絲般順滑(它并沒有把conda完全重新寫了一遍沐绒,而是重構(gòu)了一些過程,比如安裝過程旺坠,其能更好的處理系統(tǒng)與軟件的環(huán)境配置問題以及下載速度問題)乔遮,并且增加了一些功能。)
安裝mamba(基于mamba的優(yōu)秀屬性取刃,安裝于base可以適用于所有小環(huán)境蹋肮,并且老師已明確說不影響運(yùn)行----裝在base的包如果不明確是否有不良影響,不能安裝該包在base之下)
在base下安裝mamba:首先得激活base環(huán)境: conda activate base
接著利用conda安裝mamba:conda install mamba
除啟動環(huán)境外(conda activate rnaseq)璧疗,所有conda命令都可以用mamba來代替坯辩。***
安裝軟件:mamba install fastqc (注意mamba可以多線程安裝軟件)
搜索軟件:mamba search fastqc
Mamba repoquery search fastqc 這個速度更快。
mamba進(jìn)階小技巧
mamba可以很方便的查看安裝的軟件之間的依賴關(guān)系
我依賴誰:mamba repoquery depends -t samtools
誰依賴我:mamba repoquery whoneeds -t python(-t代表以樹狀的形式呈現(xiàn)出來)
版本控制與遷移
解決兩個問題:
[if !supportLists]1.?[endif]發(fā)文章時提供版本號
[if !supportLists]2.?[endif]更換服務(wù)器崩侠,分享的時候保持軟件版本不變
方法1:用conda list的export功能
基本用法conda list (查看當(dāng)前環(huán)境所安裝的軟件)
進(jìn)階用法:
導(dǎo)出環(huán)境中安裝的包的列表
conda list -n rnaseq --export > conda_rnaseq_list.txt(寫txt的原因時因?yàn)槿菀自谄渌胤酱蜷_, > 輸出到txt文件中)
軟件名=版本號=build
安裝導(dǎo)出的信息
conda create -n rna -file conda_rnaseq_list.txt
方法二:用conda env的export功能導(dǎo)出
導(dǎo)出想要的環(huán)境conda env export -n rnaseq > rnaseq.yml
根據(jù)導(dǎo)出的yml文件創(chuàng)造環(huán)境conda env create -f rnaseq.yml
根據(jù)導(dǎo)出的yml文件更新環(huán)境conda env update -f rnaseq.yml
yml文件提供的信息更全面漆魔。
本地安裝:適用于1.網(wǎng)絡(luò)實(shí)在不行的朋友 2.不聯(lián)外網(wǎng)的大型超算平臺
偷懶小技巧:巧用alias(別名),寫個備忘錄,這種技巧后期一定要常用却音,但前期一定要多敲鍵盤形成肌肉記憶改抡。警告~/.bashrc文件非常重要,最好把~/.bashrc先備份一份系瓢。
嫌棄每次輸入:conda activate rnaseq 太麻煩阿纤?
先備份一下~/.bashrc ??cp ~/.bashrc ~/.bashrc
在~/.bashrc中寫入
echo “alias rna =’conda activate rnaseq’?”>> ~/.bashrc
echo “alias deact=’conda deactivate rnaseq’?”>> ~/.bashrc
重新加載以下~./bashrc
source ~/.bashrc
清除掉下載了但是沒有用的包
conda clean -i ??(由清華鏡像轉(zhuǎn)北外鏡像)刪除之前的環(huán)境參數(shù)?tip:更換鏡像的時候記得先運(yùn)行這條。
conda clean -p ??雖然讀寫了但是沒安裝的隱藏包會被清掉夷陋,包括軟鏈接的包也會被清除
conda clean -t ???
conda clean -a
?
如何用conda將軟件安裝到指定位置欠拾?
先創(chuàng)建biosoft文件夾
mkdir biosoft
在里面創(chuàng)建一個samtools文件夾
cd biosoft
mkdir sametools
適用-p參數(shù)指定安裝位置(-p指定的位置為絕對路徑)
Conda install -p ~/biosoft/samtools samtools
如何按照位置啟動小環(huán)境
直接指定到安裝的位置即可
Conda env list (先看看小環(huán)境分別在什么位置)
Conda activate 小環(huán)境對應(yīng)的位置(復(fù)制粘貼即可)
?
為特殊環(huán)境設(shè)置特殊頻道(我這個環(huán)境只想用這個頻道。)
conda config --env --add channels genomedk
conda -V(查看conda版本號)
進(jìn)入rnaseq小環(huán)境骗绕,conda config --env --add genomedk(設(shè)置其小環(huán)境)
cat ~/.condarc(查看頻道-鏡像)
conda config --show channels ?(多了一個default默認(rèn)頻道-genomedk)
conda deactivate(但是退出之后藐窄,再show就沒有了)
condaconfig --show channels ?(沒有是默認(rèn)使用這個頻道了嗎,思考下爹谭?)
020報(bào)錯大賞 ?
[if !supportLists]1.?[endif]網(wǎng)絡(luò)問題:htp000(網(wǎng)絡(luò)不穩(wěn)定或者沒有聯(lián)網(wǎng))
解決方案:1.確保網(wǎng)絡(luò)鏈接 2.多運(yùn)行幾次 3.刪掉~/.bashrc里的default頻道 4.使用mamba(mamba是真的秀枷邪,網(wǎng)絡(luò)聯(lián)網(wǎng)都可以)
[if !supportLists]2.?[endif]一致再Solving environment(一直轉(zhuǎn)轉(zhuǎn),然后后期顯示failed)诺凡?
一個奇怪的解決方法:把鏡像的https換成http
[if !supportLists]3.?[endif]未下載完全特征是從開始安裝到選擇安裝位置一切正常东揣,但是到開始安裝之后報(bào)錯
解決方案:重新下載一個完整的安裝包即可。md5sum mismatch
[if !supportLists]4.?[endif]mamba只不過是重構(gòu)了conda一部分的功能腹泌,下載主要取決于服務(wù)器嘶卧,用的流量與網(wǎng)速其實(shí)是非常低的,他們是通過指令的方式去發(fā)揮作用凉袱。
[if !supportLists]5.?[endif]為什么不用soure加載miniconda3影響也不大芥吟。其實(shí)一開始應(yīng)該都會加載的
[if !supportLists]6.?[endif]conda安裝或者軟件安裝時,一定要按照命令的順序進(jìn)行专甩,否則大概率會出錯的钟鸵,因?yàn)橄到y(tǒng)/服務(wù)器是按命令執(zhí)行的。
[if !supportLists]7.?[endif]本地下載可能存在套娃的情況涤躲,因?yàn)榭赡艽嬖谧屇阆峦阛棺耍,然后下載bcd等的情況。
[if !supportLists]8.?[endif]質(zhì)量控制中种樱,fastqc:查看質(zhì)量蒙袍,不對不好的數(shù)據(jù)進(jìn)行過濾,相當(dāng)于一個report
[if !supportLists]9.?[endif]Multiqc:一個文件會生成一個fastqc的結(jié)果嫩挤,100個文件則會生成100個害幅,multiqc可以把fastqc文件整合到一個文件中去,方便查看
[if !supportLists]10.?[endif]fastp岂昭、trimomatic以现、cutadapt、trim_galore主要發(fā)揮過濾低質(zhì)量的序列與剪掉接頭约啊,賣萌哥一般用Fastp邑遏,那是國內(nèi)大佬用C語言寫的,運(yùn)行速度快棍苹,trimomatic需要手工加上接頭无宿,而fastp比較智能,無需手動添加枢里,對新手比較友好孽鸡。cutadapt直接切接頭的,trim_galore貌似能夠調(diào)用fastp與trimomatic栏豺。
[if !supportLists]11.?[endif]比較定量中彬碱,主要用bowtie與bowtie2 STAR是用于比對的,比較消耗內(nèi)存奥洼。無參轉(zhuǎn)錄組:trinity巷疼。 ?比對沒有一個金標(biāo)準(zhǔn),其是否需要考慮有無可變剪接以及是否需要其分開比對灵奖。最好是從自身感興趣的文獻(xiàn)學(xué)習(xí)人家用什么軟件嚼沿,并可以自己多比對一下軟件用法估盘。TPM與FPKM(利用RSEM直接指定,然后就可以得到TPM與FPKM骡尽,不需要自身寫腳本遣妥,13年寫的,并且不斷在更新攀细。)conda可以安裝GCC箫踩,conda可以直接安裝GCC.
[if !supportLists]12.?[endif]Docker比較好用于遷移和組裝
?