一姊扔、在任意文件夾下面創(chuàng)建形如 1/2/3/4/5/6/7/8/9 格式的文件夾系列疏橄。
mkdir -p 1/2/3/4/5/6/7/8/9 # -p 遞歸創(chuàng)建目錄
tree . # 按樹狀圖顯示當前文件夾信息
二侧到、在創(chuàng)建好的文件夾下面伟叛,里面創(chuàng)建文本文件me.txt
cd 1/2/3/4/5/6/7/8/9 #從當前目錄通過相對路徑轉(zhuǎn)到該目錄
vim me.txt #用vim 建立me.txt 文本文件
三私痹、在文本文件me.txt
例輸入內(nèi)容
Go to: http://www.biotrainee.com/
I love bioinfomatics.
And you ?
前三題效果如下
四、刪除上面創(chuàng)建的文件夾1/2/3/4/5/6/7/8/9
及文本文件 me.txt
cd ~ #回到原來家目錄
sudo rm -r 1 # -r 用于刪除目錄
五、在任意文件夾下面創(chuàng)建 folder1~5這5個文件夾紊遵,然后每個文件夾下面繼續(xù)創(chuàng)建 folder1~5這5個文件夾
mkdir temp-for-practice #創(chuàng)建一個練習目錄
cd temp-for-practice/ #轉(zhuǎn)到這個目錄
mkdir -p folder_{1..5}/folder_{1..5} #用循環(huán)方法創(chuàng)建目錄
tree #樹狀圖展示
六账千、在第五題創(chuàng)建的每一個文件夾下面都 創(chuàng)建第二題文本文件 me.txt ,內(nèi)容也要一樣暗膜。(這個題目難度超綱匀奏,建議一個月后再回過頭來做)
xargs 是給命令傳遞參數(shù)的一個過濾器,也是組合多個命令的一個工具学搜。xargs 一般是和管道一起使用娃善。
命令格式:
somecommand |xargs -item command
代碼:
echo folder{1..5}/folder{1..5}|xargs -n 1 cp me.txt
#-n num 后面加次數(shù),表示命令在執(zhí)行的時候一次用的argument的個數(shù)瑞佩,默認是用所有的聚磺。
七、再次刪除掉前面幾個步驟建立的文件夾及文件
rm -r folder_{1..5}
八炬丸、下載 http://www.biotrainee.com/jmzeng/igv/test.bed 文件瘫寝,后在里面選擇含有 H3K4me3 的那一行是第幾行,該文件總共有幾行稠炬。
wget http://www.biotrainee.com/jmzeng/igv/test.bed
用vim打開
/vim test.bed
顯示行號:在命令模式下(輸入:) : set number
即可顯示行號焕阿,本文共有10行
查找字符串:命令模式下輸入:/H3K4me3
光標停在第一個字符串前面,按n
可查找下一個首启,發(fā)現(xiàn)所有該字符串在第8行
九暮屡、下載 http://www.biotrainee.com/jmzeng/rmDuplicate.zip 文件,并且解壓毅桃,查看里面的文件夾結(jié)構(gòu)
wget http://www.biotrainee.com/jmzeng/rmDuplicate.zip
解壓
unzip rmDuplicate.zip
十栽惶、打開第九題解壓的文件,進入 rmDuplicate/samtools/single 文件夾里面疾嗅,查看后綴為 .sam 的文件外厂,搞清楚 生物信息學里面的SAM/BAM 定義是什么。
在生物信息學中尤其是高通量測序數(shù)據(jù)分析中代承,大部分的操作都是在實現(xiàn)短片段序列與參考序列的比對(mapping)汁蝶,比如bowtie等,這就涉及到如何使用一個統(tǒng)一的格式來表示這種mapping結(jié)果呢论悴,sam(Sequence Alignment/Map)格式就是來解決這個問題的掖棉。sam文件擁有頭部描述和詳細比對兩部分,其中頭部描述是以@開頭膀估,后面緊跟兩個縮寫字母表示相應的含義幔亥。
SAM分為兩部分,注釋信息(header section)和比對結(jié)果部分(alignment section)察纯,注釋信息可有可無帕棉,都是以@開頭针肥,用不同的tag表示不同的信息,主要有@HD香伴,說明符合標準的版本慰枕、對比序列的排列順序;@SQ即纲,參考序列說明具帮;@RG,比對上的序列(read)說明低斋;@PG蜂厅,使用的程序說明;@CO膊畴,任意的說明信息葛峻。而詳細比對部分是通過11個tab隔開的字段來表示。
詳見:https://blog.csdn.net/xcaryyz/article/details/79257604
十一巴比、安裝 samtools 軟件
參考http://www.omicsclass.com/article/529
下載
wget https://nchc.dl.sourceforge.net/project/samtools/samtools/1.9/samtools-1.9.tar.bz2
解壓縮
tar jxvf samtools-1.9.tar.bz2
安裝
./configure --prefix=/home/pi/temp-for-practice/biosoft/samtools/samtools-1.9 #設(shè)置安裝路徑
出現(xiàn)報錯
查看git-hub中INSTALL
根據(jù)指導术奖,發(fā)現(xiàn)需要安裝下面這些包,兩行代碼搞定
sudo apt-get update # Ensure the package list is up to date
sudo apt-get install autoconf automake make gcc perl zlib1g-dev libbz2-dev liblzma-dev libcurl4-gnutls-dev libssl-dev libncurses5-dev
再次安裝
./configure --prefix=/home/pi/temp-for-practice/biosoft/samtools/samtools-1.9 #設(shè)置安裝路徑
然后
make
make install
當然轻绞,我們要把它放到環(huán)境變量里面去采记,方法是
echo 'export PATH="/home/pi/temp-for-practice/biosoft/samtools/samtools-1.9/bin:$PATH" ' >>~/.bashrc
source ~/.bashrc
這樣以后就可以隨時隨地的調(diào)用,不需要加路徑
試驗一下政勃,搞定唧龄!
[SAMtools] 常用指令總結(jié)
1、view 主要功能:sam和bam文件之間相互轉(zhuǎn)換奸远,針對bam文件進行相關(guān)操作既棺。bam文件是sam文件的二進制格式,占據(jù)內(nèi)存較小且運算速度快懒叛。
2丸冕、sort 主要功能:對bam文件進行排序(不能對sam文件進行排序)
3、index 主要功能:對bam文件建立索引薛窥,但在此之前必須進行排序(sort)胖烛,生成后綴是.bai的文件。
4诅迷、merge 功能:合并多個已經(jīng)sort的bam文件
5佩番、faidx 功能:對fasta格式的文件建立索引,后綴名.fai罢杉。根據(jù)索引文件和序列文件趟畏,可以快速提取任意區(qū)域的序列文件。
6滩租、tview 作用:直觀顯示reads比對到基因組的情況赋秀,和基因組瀏覽器有點類似利朵。
7、flagstat 作用:reads的比對情況統(tǒng)計
8沃琅、depth 作用:每個堿基位點的測序深度
9、mpileup 作用:對參考基因組每個位點做堿基堆積蜘欲,用于call SNP和INDEL益眉。主要是生成BCF、VCF文件或者pileup一個或多個bam文件姥份。比對記錄以在@RG中的樣本名作為區(qū)分標識符郭脂。如果樣本標識符缺失,那么每一個輸入文件則視為一個樣本澈歉。
10展鸡、dict 作用:建立參考基因組字典
11、cat 作用:連接多個bam文件(不做排序)
12埃难、split 作用:根據(jù)read group 分割bam文件
13莹弊、quickcheck 作用:檢查SAM/BAM/CRAM文件的完整性
14、fastq 作用:bam文件轉(zhuǎn)換為fastq
15涡尘、fasta 作用:bam文件轉(zhuǎn)換為fasta
16忍弛、idxstats 作用:檢索和打印與輸入文件相對應的index file里的統(tǒng)計信息
17、stats 作用:對bam文件做詳細統(tǒng)計,其統(tǒng)計結(jié)果可用mics/plot-bamstats作圖
18考抄、reheader 作用:替換bam文件的頭
19细疚、rmdup 作用:將由PCR duplicates 獲得的reads去掉,并保留高比對質(zhì)量的reads
20川梅、phase 作用:call雜合SNP疯兼,確定相位
21、calmad 作用:計算MD tag(a optional field贫途,記錄了mismatch信息)
十二 打開 后綴為BAM 的文件吧彪,找到產(chǎn)生該文件的命令。
提示一下命令是:
/home/jianmingzeng/biosoft/bowtie/bowtie2-2.2.9/bowtie2-align-s --wrapper basic-0 -p 20 -x /home/jianmingzeng/reference/index/bowtie/hg38 -S /home/jianmingzeng/data/public/allMouse/alignment/WT_rep2_Input.sam -U /tmp/41440.unp
samtools view -H ~/temp-for-practice/rmDuplicate/samtools/single/tmp.sorted.bam
在文件底部找到了
十三題丢早、根據(jù)上面的命令来氧,找到我使用的參考基因組 /home/jianmingzeng/reference/index/bowtie/hg38 具體有多少條染色體
這里先學習一下linux中常用的幾個文本處理工具,號稱linux三劍客
awk
awk從放棄到入門(1):awk基礎(chǔ) (通俗易懂,快進來看)
awk從放棄到入門(2):awk分隔符
awk從放棄到入門(3):awk變量
awk從放棄到入門(4):awk格式化
awk從放棄到入門(5):awk模式(Pattern)之一
awk從放棄到入門(6):awk模式(Pattern)之二
awk從放棄到入門(7):awk動作總結(jié)之一
awk從放棄到入門(8):awk動作總結(jié)之二
awk從放棄到入門(9):awk數(shù)組詳解
awk從放棄到入門(10):awk內(nèi)置函數(shù)
sed
shell sed
grep
Grep命令的詳細使用方法
再來看第13題
https://blog.csdn.net/shenhuan1104/article/details/75852822
sed統(tǒng)計一下行數(shù)
十四題香拉、上面的后綴為BAM 的文件的第二列啦扬,只有 0 和 16 兩個數(shù)字,用 cut/sort/uniq等命令統(tǒng)計它們的個數(shù)凫碌。
用samtools view
打開該文件
用awk命令提取第二列
發(fā)現(xiàn)只有0 和16兩個數(shù)字
用sort
排序后(非必要)grep
篩選扑毡,再用wc -l
統(tǒng)計行數(shù)即可
十五題、重新打開 rmDuplicate/samtools/paired 文件夾下面的后綴為BAM 的文件盛险,再次查看第二列瞄摊,并且統(tǒng)計
發(fā)現(xiàn)這次用
wc -l
的方法麻煩了勋又,用uniq -c
就可以很好地解決問題。
十六題换帜、下載 http://www.biotrainee.com/jmzeng/sickle/sickle-results.zip 文件楔壤,并且解壓,查看里面的文件夾結(jié)構(gòu)惯驼, 這個文件有2.3M蹲嚣,注意留心下載時間及下載速度。
unzip sickle-results.zip
cd sickle-results/
tree
十七題祟牲、解壓 sickle-results/single_tmp_fastqc.zip 文件隙畜,并且進入解壓后的文件夾,找到 fastqc_data.txt 文件说贝,并且搜索該文本文件以 >>開頭的有多少行议惰?
注意用grep篩選以>>開頭的行時要轉(zhuǎn)義一下,然后用wc -l統(tǒng)計行數(shù)
十八題乡恕、下載 http://www.biotrainee.com/jmzeng/tmp/hg38.tss
文件言询,去NCBI找到TP53/BRCA1
等自己感興趣的基因?qū)?refseq數(shù)據(jù)庫
ID,然后找到它們的hg38.tss
文件的那一行傲宜。
https://www.ncbi.nlm.nih.gov/gene/7157
在這里https://www.ncbi.nlm.nih.gov/gene/7157#reference-sequences找到許多NM開頭的id
就選這個了
可以看在在413行倍试,在第17號染色體上
十九題、解析hg38.tss 文件蛋哭,統(tǒng)計每條染色體的基因個數(shù)县习。
二十題、解析hg38.tss 文件谆趾,統(tǒng)計NM和NR開頭的數(shù)量躁愿,了解NM和NR開頭的含義。
最后百度一下:
NM_***:mRNA mixed沪蓬,轉(zhuǎn)錄組產(chǎn)物序列彤钟;成熟mRNA轉(zhuǎn)錄本序列
NR_***:RNA mixed,非編碼的轉(zhuǎn)錄子序列跷叉,包括結(jié)構(gòu)RNAs逸雹,假基因轉(zhuǎn)子等