防止自己下次忘了，作為筆記使用团秽，整理自網(wǎng)絡(luò)疯趟。
參考自Snakemake：簡(jiǎn)單好用的生信流程搭建工具 | | 百邁客生物 (biomarker.com.cn)
參考自conda安裝與使用 - 知乎 (zhihu.com)
1. Conda 的安裝及使用
1.1 Conda 的下載
從國(guó)內(nèi)的清華源下載 Conda 的安裝文件
wget -c https://mirrors.bfsu.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
1.2 Conda 的安裝
bash Miniconda3-latest-Linux-x86_64.sh
第一次安裝一路yes確認(rèn)即可，安裝后锡溯，~/.bashrc 中已經(jīng)有了conda的路徑赶舆，不需要添加環(huán)境變量
image-20221030100913742.png
如果添加環(huán)境變量的話哑姚，則運(yùn)行
vim ~/.bashrc
#在文件的最后一行添加
export PATH = $PATH:/where/the/conda/bin #找到conda安裝路徑下bin所在路徑
此時(shí)運(yùn)行conda create將會(huì)報(bào)錯(cuò)
Anaconda創(chuàng)造虛擬環(huán)境時(shí)"An HTTP error occurred when trying to retrieve this URL."
這時(shí)則需要自己為conda添加channel，具體方法如下
#添加鏡像
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
添加完鏡像之后芜茵，查看頻道信息
conda config --set show_channel_urls yes #顯示已經(jīng)安裝的頻道
conda config --get channels #查看安裝的頻道
vim ~/.condarc #編輯conda的配置文件
#然后刪除最后一行叙量，-defaults
至此，conda 的安裝已經(jīng)完成夕晓， 運(yùn)行conda則會(huì)出現(xiàn)下面的提示信息
usage: conda [-h] [-V] command ...
conda is a tool for managing and deploying applications, environments and packages.
Options:
positional arguments:
command
clean Remove unused packages and caches.
compare Compare packages between conda environments.
config Modify configuration values in .condarc. This is modeled after the git config command. Writes to the
user .condarc file (/home/qiang/.condarc) by default.
create Create a new conda environment from a list of specified packages.
help Displays a list of available conda commands and their help strings.
info Display information about current conda install.
init Initialize conda for shell interaction. [Experimental]
install Installs a list of packages into a specified conda environment.
list List linked packages in a conda environment.
package Low-level conda package utility. (EXPERIMENTAL)
remove Remove a list of packages from a specified conda environment.
uninstall Alias for conda remove.
run Run an executable in a conda environment.
search Search for packages and display associated information. The input is a MatchSpec, a query language
for conda packages. See examples below.
update Updates conda packages to the latest compatible version.
upgrade Alias for conda update.
optional arguments:
-h, --help Show this help message and exit.
-V, --version Show the conda version number and exit.
conda commands available from other packages:
content-trust
env
2. snakemake 的安裝
2.1 snakemake 安裝
conda create -n snakemake_env python snakemake
#創(chuàng)建一個(gè)名字為snakemake_env的虛擬環(huán)境宛乃，安裝snakemake所需要的python3及snakemake
激活及關(guān)閉環(huán)境的命令
#進(jìn)入snakemake_env 環(huán)境
conda actiater snakemaker_env
#退出 snakemake_env 環(huán)境
conda deactivate
#查看安裝的環(huán)境列表
conda info --envs
如果你的conda安裝很慢或者獲取不了最新版本的軟件，可以使用下面的命令安裝：
conda install -c conda-forge mamba
mamba create -c conda-forge -c bioconda -n snakemake_env python snakemake
conda activate snakemake_env
snakemake --help
2.2 利用測(cè)試數(shù)據(jù)進(jìn)行測(cè)試
2.2.1 數(shù)據(jù)準(zhǔn)備
安裝完成后蒸辆，安裝目錄下征炼，會(huì)產(chǎn)生了一個(gè)snakemake-tutorial文件夾，打開文件夾躬贡，看里面是否有完整的示例文件
image-20221030102959517.png
如果文件不完全谆奥，則刪除里面的所有信息，然后重新下載解壓縮
#下載示例信息
wget https://bitbucket.org/snakemake/snakemake-tutorial/get/v5.2.3.tar.bz2 --no-check-certificate
#解壓縮并拷貝到snakemake-tutorial文件下
tar -xf v5.2.3.tar.bz2
cd snakemake-snakemake-tutorial-966f4bd988bb/
cp -r * ../
#刪除下載的文件及解壓縮后的文件
cd ../
rm -r snakemake-snakemake-tutorial-966f4bd988bb/
rm v5.2.3.tar.bz2
2.2.2 創(chuàng)建工作流文件： snakefile
#創(chuàng)建Snakefile文件
touch Snakefile.py
## dry run (不真正執(zhí)行拂玻，只顯示執(zhí)行內(nèi)容及順序)
snakemake -n
當(dāng)然工作流文件 Snakefile 文件名并不是固定的酸些，位置也不是固定的。當(dāng)你的工作流文件就在當(dāng)前目錄下檐蚜，且名稱正好是 Snakefile 時(shí)魄懂，就可以像上面的示例一樣，不用指定具體的工作流文件闯第，snakemake 會(huì)自動(dòng)調(diào)取當(dāng)前路徑的名為 Snakefile 的文件去執(zhí)行市栗。如果你要執(zhí)行其他路徑的 Snakefile 或者其他的文件名的工作流文件，可以使用 -s 參數(shù)咳短，例如：
#執(zhí)行test.py文件,建議將工作流文件命名為 py 文件
snakemake -s -n test.py
rule bwa: #定義第一條規(guī)則填帽，命名為bwa
input: # input:指定輸入
"data/genome.fa",
"data/samples/A.fastq"
output: #output:指定輸出
"mapped/A.bam"
shell: #指定執(zhí)行方式，這里有三種方式：shell咙好， run篡腌， script
"bwa mem {input} | samtools view -Sb -> {output}"
image-20221031092244993.png
使用通配符升級(jí)規(guī)則
在我們實(shí)際運(yùn)用中，我們可能會(huì)有很多的數(shù)據(jù)來進(jìn)行比對(duì)勾效，不可能把所有的文件名都寫下來嘹悼，因此我們需要使用通配符替代我們的文件名
rule bwa: #定義第一條規(guī)則，命名為bwa
input: # input:指定輸入
"data/genome.fa",
"data/samples/{sample}.fastq"
output: #output:指定輸出
"mapped/{sample}.bam"
shell: #指定執(zhí)行方式，這里有三種方式：shell， run修噪， script
"bwa mem {input} | samtools view -Sb -> {output}"
然后dry run一下骚亿，這里需要加上規(guī)則的輸出才能讓含有通配符的程序正常運(yùn)行
snakefile -n -s Snakefile.py mapped/{A,B,C}.bam # mapped/{A,B,C}.bam 指的時(shí)規(guī)則的輸出
運(yùn)行結(jié)果如下
image-20221031093153019.png
添加sort規(guī)則
#添加sort 規(guī)則
rule sort:
input:
"mapped/{sample}.bam"
output:
"mapped/{sample}.sorted.bam"
shell:
"samtools sort -o {output} {input}"
添加索引規(guī)則·
rule samtools_index:
input:
"mapped/{sample}.sorted.bam"
output:
"mapped/{samle}.sorted.bam.bai"
shell:
"samtools index {input}"
添加calling 規(guī)則
1. 首先在工作流文件開頭定義一個(gè)變量：
samples = ["A", "B", "C"]
2. 然后使用 snakemake 的內(nèi)置函數(shù) expand：
bam=expand("mapped/{sample}.sorted.bam", sample=samples)
添加calling 規(guī)則
rule calling:
input:
fa="data/genome.fa",
bam=expand("mapped/{sample}.sorted.bam", sample=samples),
bai=expand("mapped/{sample}.sorted.bam.bai",sample=samples)
output:
"calling/all.vcf"
shell:
"samtools mpileup -g -f {input.fa} {input.bam}| "
"bcftools call -mv ->{output}"
調(diào)用自己寫的腳本
當(dāng)然，有時(shí)候在某個(gè)步驟想實(shí)現(xiàn)的功能并不能用簡(jiǎn)單的幾句命令來實(shí)現(xiàn)，而且你自己也已經(jīng)有了一個(gè)現(xiàn)成的腳本了，那么你就可以直接調(diào)用該腳本實(shí)現(xiàn)相應(yīng)功能
rule calling:
input:
fa="data/genome.fa",
bam=expand("mapped/{sample}.sorted.bam", sample=samples),
bai=expand("mapped/{sample}.sorted.bam.bai",sample=samples)
output:
"calling/all.vcf"
shell:
"script/stat.py" # 調(diào)用自己已經(jīng)寫好的腳本
最重要的一條規(guī)則：ALL
書寫完上面的代碼直接運(yùn)行的話會(huì)直接報(bào)錯(cuò)饭耳，需要在規(guī)則文件的最簽名添加一行
rule all:
input:
"calling/all.vcf" #這代表的是最后一個(gè)rule的輸出文件膛腐，這樣最能將所有的規(guī)則運(yùn)行一遍了
生成可視化流程圖
snakemake --dag -s Snakefile.py |dot -Tpdf >test.pdf
#初次使用可能出現(xiàn)如下報(bào)錯(cuò)
There is no layout engine support for "dot"
Perhaps "dot -c" needs to be run (with installer's privileges) to register the plugins?
#則需要運(yùn)行
sudo dot -c
#輸入密碼即可
test.jpg
完整的rule文件如下
samples=["A","B","C"]
rule all:
input:
"calling/all.vcf"
#bam = expand("mapped/{sample}.sorted.bam", sample=samples)
#rule bwa: #定義第一條規(guī)則睛约，命名為bwa
# input: # input:指定輸入
# "data/genome.fa",
# "data/samples/A.fastq"
# output: #output:指定輸出
# "mapped/A.bam"
# shell: #指定執(zhí)行方式，這里有三種方式：shell哲身， run辩涝， script
# "bwa mem {input} | samtools view -Sb -> {output}"
rule bwa: #定義第一條規(guī)則，命名為bwa
input: # input:指定輸入
"data/genome.fa",
"data/samples/{sample}.fastq"
output: #output:指定輸出
"mapped/{sample}.bam"
shell: #指定執(zhí)行方式勘天，這里有三種方式：shell怔揩， run， script
"bwa mem {input} | samtools view -Sb -> {output}"
#添加sort 規(guī)則
rule sort:
input:
"mapped/{sample}.bam"
output:
"mapped/{sample}.sorted.bam"
shell:
"samtools sort -o {output} {input}"
rule samtools_index:
input:
"mapped/{sample}.sorted.bam"
output:
"mapped/{sample}.sorted.bam.bai"
shell:
"samtools index {input}"
rule calling:
input:
fa="data/genome.fa",
bam=expand("mapped/{sample}.sorted.bam", sample=samples),
bai=expand("mapped/{sample}.sorted.bam.bai",sample=samples)
output:
"calling/all.vcf"
shell:
"samtools mpileup -g -f {input.fa} {input.bam}| "
"bcftools call -mv ->{output}"
運(yùn)行完整的程序
snakemake -p -c all -s Snakefile.py
可能出現(xiàn)報(bào)錯(cuò)脯丝，沒有安裝相應(yīng)的軟件商膊，可以通過conda instal 安裝
conda install bwa samtools bcftools
