BSA分析-實(shí)戰(zhàn)筆記(三)數(shù)據(jù)預(yù)處理

參考:
以水稻為例教你如何使用BSA方法進(jìn)行遺傳定位(上篇) - 簡(jiǎn)書(shū) (jianshu.com)

1. 數(shù)據(jù)質(zhì)控-fastp

#創(chuàng)建文件夾
mkdir 1.clean_data
cd clean_data
vi clean_data.sh
fastp -i ~/workspace/BSA/practice/data/SRR6327815_1.fastq.gz -I ~/workspace/BSA/practice/data/SRR6327815_2.fastq.gz -o SRR6327815_1.fastq.gz -O SRR6327815_2.fastq.gz
fastp -i ~/workspace/BSA/practice/data/SRR6327816_1.fastq.gz -I ~/workspace/BSA/practice/data/SRR6327816_2.fastq.gz -o SRR6327816_1.fastq.gz -O SRR6327816_2.fastq.gz
fastp -i ~/workspace/BSA/practice/data/SRR6327817_1.fastq.gz -I ~/workspace/BSA/practice/data/SRR6327817_2.fastq.gz -o SRR6327817_1.fastq.gz -O SRR6327817_2.fastq.gz
fastp -i ~/workspace/BSA/practice/data/SRR6327818_1.fastq.gz -I ~/workspace/BSA/practice/data/SRR6327818_2.fastq.gz -o SRR6327818_1.fastq.gz -O SRR6327818_2.fastq.gz
chmod +x clean_data.sh
sh clean_data.sh &

2. 序列比對(duì)

①參考文章中的shell腳本

# BSA/practice/目錄下
mkdir -p 2.ref_align
#給變量賦值
NUMBER_THREADS=12
REFERENCE=data/ref/IRGSP-1.0_genome.fasta
# for循環(huán)
for i in `ls 1.clean_data/`; do  
#{i%%_*}:刪去i的第一個(gè)"_"及其右邊字符串
  sample=${i%%_*}; 
  (bwa mem -M -R "@RG\\tID:${sample}\\tSM:${sample}\\tPL:ILLUMINA" -t $NUMBER_THREADS $REFERENCE 1.clean_data/${sample}_1.fastq.gz 1.clean_data/${sample}_2.fastq.gz || echo -n 'error' ) 
#排序
  | samtools sort -@ 20 -o 2.ref_align/${sample}_sort.bam -; 
#構(gòu)建索引
  samtools index -@ 20 2.ref_align/${sample}_sort.bam; 
done

②修改版
參考文章里的這一段命令其實(shí)相當(dāng)于bwa比對(duì)同一個(gè)文件比對(duì)兩次

#可以看輸出的sample 更直觀點(diǎn)
for i in `ls 1.clean_data/`;do sample=${i%%_*}; echo $sample;done
image.png

所以我修改了一下~

#先將這個(gè)sample重定向輸出到一個(gè)文件中
for i in `ls 1.clean_data/`;do 
  sample=${i%%_*}; 
  echo $sample >> sample.txt;
done
uniq sample.txt>sample.txt

cat sample.txt|while read line
do
        bwa mem -t 16 -M -Y  -R "@RG\tID:$line\tPL:ILLUMINA\tLB:$line\tSM:$line" $REFERENCE ../1.clean_data/${line}_1.fastq.gz ../1.clean_data/${line}_2.fastq.gz >${line}.bam &&
# 排序
        samtools sort -@ 16 -m 4G  -O bam ./${line}.bam -o ./${line}_sort.bam && \
        samtools index ./${line}_sort.bam
done

3. 去除重復(fù)序列

去除相同位置且序列一模一樣的reads,通常是由于PCR擴(kuò)增引起。PCR擴(kuò)增中也有可能會(huì)出現(xiàn)錯(cuò)誤习柠,序列擴(kuò)增錯(cuò)誤可能會(huì)被變異檢測(cè)軟件判定為變異蛉艾,過(guò)濾掉重復(fù)序列有利于提升后續(xù)檢測(cè)的準(zhǔn)確性。
sambamba速度比較快晤愧,且結(jié)果和picard一模一樣大莫。

cat sample.txt|while read line 
do
    sambamba markdup -r -t 10 ${line}_sort.bam ${line}_mkdup.bam 
done

查看bam文件可使用如下命令

samtools view -h SRR6327815_mkdup.bam|less -S

4. 變異檢測(cè)

變異檢測(cè)常用軟件有bcftools, freebayes和GATK.
參考文章里用到的是bcftools,主要原因還是它的速度比較快官份。
為了讓他的速度更快只厘,使用--region參數(shù)分染色體并行,由于水稻有12條染色體舅巷,相當(dāng)于提速了12倍

# BSA/practice目錄下
mkdir -p 3.variants
cd 3.variants
for i in `ls ../2.ref_align/*_mkdup.bam`;do
        sample=${i##*/};#去掉最后一個(gè)/及其左邊的字符串
        echo $sample >> bam_list.txt;
done
#seqkit seq -n 羔味,name,輸出染色體名稱(chēng)
seqkit seq -n ../data/ref/IRGSP-1.0_genome.fasta | \
while read region
do
   bcftools mpileup -f ../data/ref/IRGSP-1.0_genome.fasta  \
    --redo-BAQ --min-BQ 30 \
    --per-sample-mF \
    --annotate FORMAT/AD,FORMAT/DP \
    --regions ${region} \
    -Ou --bam-list bam_list.txt  | \
    bcftools call -mv -Ob -o 03-variants/${region}.bcf &
done

接著將拆分結(jié)果合并

# BSA/practice目錄下
mkdir -p 4.variants_filter
cd 4.variants_filter
bcftools concat --naive -o merged.bcf ../3.variants/*.bcf

5. 變異過(guò)濾

根據(jù)需求進(jìn)行不同閾值或條件設(shè)置來(lái)對(duì)變異檢測(cè)結(jié)果進(jìn)行過(guò)濾
一般需要考慮的因素有:
①測(cè)序深度钠右;
②非參考基因組的高質(zhì)量reads數(shù)介评;
③是否和indel緊鄰,通常和indel比較近的snp都不可靠爬舰;
④平均的比對(duì)質(zhì)量们陆。
參考文章中是這樣

bcftools filter  -g3 -G10 -e'%QUAL<10 || (RPB<0.1 && %QUAL<15) || (AC<2 && %QUAL<15) || MQ < 30 || MQSB <=0.1'  merged.bcf > filter.vcf

但是不知道為什么報(bào)錯(cuò)如下

[filter.c:2903 filters_init1] Error: the tag "RPB" is not defined in the VCF header
[filter.c:2903 filters_init1] Error: the tag "MQSB" is not defined in the VCF header

所以我把RPB和MQSB的過(guò)濾條件給刪掉了,最后用的如下命令

bcftools filter  -g3 -G10 -e'%QUAL<10  || (AC<2 && %QUAL<15) || MQ < 30 '  merged.bcf > filter.vcf

PS:后來(lái)我查看了一下文件情屹,里面是RPBZ和MQSBZ

image.png

bcftools filter  -g3 -G10 -e'%QUAL<10 || (RPBZ<0.1 && %QUAL<15) || (AC<2 && %QUAL<15) || MQ < 30 || MQSBZ <=0.1'  merged.bcf > full_filter.vcf
#對(duì)比一下完整過(guò)濾條件和部分過(guò)濾條件后的SNP數(shù)
grep -v "#" filter.vcf| wc -l
1037996
grep -v "#" full_filter.vcf| wc -l
266877

但是這最后與參考文章找那個(gè)差的也有點(diǎn)太多了坪仇。。

接著選擇SNP來(lái)進(jìn)行后續(xù)的分析

bcftools view -i 'TYPE="snp" & N_ALT =1 & STRLEN(ALT) = 1' filter.vcf > snps.vcf
#統(tǒng)計(jì)一下有多少SNPs
grep -v "#" snps.vcf |wc -l
#顯示有90w垃你,參考文章中是80w椅文,可能是過(guò)濾條件那里我刪去了兩個(gè)
#我決定先繼續(xù)后面的數(shù)據(jù)分析
904821
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市惜颇,隨后出現(xiàn)的幾起案子皆刺,更是在濱河造成了極大的恐慌,老刑警劉巖凌摄,帶你破解...
    沈念sama閱讀 218,682評(píng)論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件羡蛾,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡锨亏,警方通過(guò)查閱死者的電腦和手機(jī)痴怨,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,277評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門(mén)忙干,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人浪藻,你說(shuō)我怎么就攤上這事捐迫。” “怎么了爱葵?”我有些...
    開(kāi)封第一講書(shū)人閱讀 165,083評(píng)論 0 355
  • 文/不壞的土叔 我叫張陵施戴,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我萌丈,道長(zhǎng)赞哗,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,763評(píng)論 1 295
  • 正文 為了忘掉前任浓瞪,我火速辦了婚禮懈玻,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘乾颁。我一直安慰自己涂乌,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,785評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布英岭。 她就那樣靜靜地躺著湾盒,像睡著了一般。 火紅的嫁衣襯著肌膚如雪诅妹。 梳的紋絲不亂的頭發(fā)上罚勾,一...
    開(kāi)封第一講書(shū)人閱讀 51,624評(píng)論 1 305
  • 那天,我揣著相機(jī)與錄音吭狡,去河邊找鬼尖殃。 笑死,一個(gè)胖子當(dāng)著我的面吹牛划煮,可吹牛的內(nèi)容都是我干的送丰。 我是一名探鬼主播,決...
    沈念sama閱讀 40,358評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼弛秋,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼器躏!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起蟹略,我...
    開(kāi)封第一講書(shū)人閱讀 39,261評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤登失,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后挖炬,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體揽浙,經(jīng)...
    沈念sama閱讀 45,722評(píng)論 1 315
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,900評(píng)論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了捏萍。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片太抓。...
    茶點(diǎn)故事閱讀 40,030評(píng)論 1 350
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡空闲,死狀恐怖令杈,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情碴倾,我是刑警寧澤逗噩,帶...
    沈念sama閱讀 35,737評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站跌榔,受9級(jí)特大地震影響异雁,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜僧须,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,360評(píng)論 3 330
  • 文/蒙蒙 一纲刀、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧担平,春花似錦示绊、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,941評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至取胎,卻和暖如春展哭,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背闻蛀。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,057評(píng)論 1 270
  • 我被黑心中介騙來(lái)泰國(guó)打工匪傍, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人觉痛。 一個(gè)月前我還...
    沈念sama閱讀 48,237評(píng)論 3 371
  • 正文 我出身青樓役衡,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親秧饮。 傳聞我的和親對(duì)象是個(gè)殘疾皇子映挂,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,976評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容